Hedwig 开源项目使用教程

Hedwig 开源项目使用教程

hedwig PyTorch deep learning models for document classification 项目地址: https://gitcode.com/gh_mirrors/he/hedwig

1. 项目目录结构及介绍

Hedwig 项目的目录结构如下：

hedwig/
├── data/
│   ├── processed/
│   └── raw/
├── models/
│   ├── __init__.py
│   └── model.py
├── scripts/
│   ├── train.py
│   └── evaluate.py
├── config/
│   ├── default.yaml
│   └── custom.yaml
├── tests/
│   ├── test_model.py
│   └── test_data.py
├── README.md
├── requirements.txt
└── setup.py

目录结构介绍

• data/: 存放数据文件的目录，包含原始数据 (raw/) 和处理后的数据 (processed/)。
• models/: 存放模型定义和实现的文件，model.py 是主要的模型文件。
• scripts/: 存放训练 (train.py) 和评估 (evaluate.py) 脚本。
• config/: 存放配置文件，default.yaml 是默认配置，custom.yaml 是自定义配置。
• tests/: 存放测试脚本，用于测试模型 (test_model.py) 和数据处理 (test_data.py)。
• README.md: 项目说明文件。
• requirements.txt: 项目依赖文件。
• setup.py: 项目安装脚本。

2. 项目启动文件介绍

项目的启动文件主要位于 scripts/ 目录下，包括 train.py 和 evaluate.py。

train.py

train.py 是用于训练模型的脚本。启动方式如下：

python scripts/train.py --config config/default.yaml

• --config: 指定配置文件路径，默认使用 config/default.yaml。

evaluate.py

evaluate.py 是用于评估模型的脚本。启动方式如下：

python scripts/evaluate.py --model_path models/model.pth --data_path data/processed/test.csv

• --model_path: 指定模型文件路径。
• --data_path: 指定测试数据路径。

3. 项目配置文件介绍

项目的配置文件位于 config/ 目录下，主要包括 default.yaml 和 custom.yaml。

default.yaml

default.yaml 是项目的默认配置文件，包含以下主要配置项：

model:
  type: "LSTM"
  hidden_size: 128
  num_layers: 2

training:
  batch_size: 32
  epochs: 10
  learning_rate: 0.001

data:
  train_path: "data/processed/train.csv"
  test_path: "data/processed/test.csv"

custom.yaml

custom.yaml 是自定义配置文件，用户可以根据需要修改配置项。例如：

model:
  type: "GRU"
  hidden_size: 256
  num_layers: 3

training:
  batch_size: 64
  epochs: 20
  learning_rate: 0.0005

data:
  train_path: "data/processed/custom_train.csv"
  test_path: "data/processed/custom_test.csv"

通过修改 custom.yaml 文件，用户可以自定义模型类型、训练参数和数据路径。

---

以上是 Hedwig 开源项目的使用教程，希望对你有所帮助！

hedwig PyTorch deep learning models for document classification 项目地址: https://gitcode.com/gh_mirrors/he/hedwig