OpenFedLLM 项目使用教程
OpenFedLLM项目地址:https://gitcode.com/gh_mirrors/op/OpenFedLLM
1. 项目目录结构及介绍
OpenFedLLM 项目的目录结构如下:
OpenFedLLM/
├── doc/
│ └── assets/
├── evaluation/
│ └── open_ended/
├── federated_learning/
├── training_scripts/
├── utils/
├── .gitignore
├── .gitmodules
├── LICENSE
├── README.md
├── config.py
├── main_dpo.py
├── main_sft.py
├── requirements.txt
└── setup.sh
目录介绍
- doc/assets/: 存放项目文档相关的资源文件。
- evaluation/open_ended/: 包含开放式评估的脚本和配置文件,涵盖 MT-Bench、Vicuna Bench 和 AdvBench 等基准测试。
- federated_learning/: 包含联邦学习相关的代码和脚本。
- training_scripts/: 包含训练脚本和配置文件。
- utils/: 包含项目中使用的各种工具函数和辅助脚本。
- .gitignore: Git 忽略文件配置。
- .gitmodules: Git 子模块配置。
- LICENSE: 项目许可证文件。
- README.md: 项目介绍和使用说明。
- config.py: 项目配置文件。
- main_dpo.py: 项目的主要启动文件之一,用于分布式策略优化(DPO)。
- main_sft.py: 项目的主要启动文件之一,用于监督微调(SFT)。
- requirements.txt: 项目依赖包列表。
- setup.sh: 项目安装脚本。
2. 项目启动文件介绍
main_dpo.py
main_dpo.py
是 OpenFedLLM 项目的主要启动文件之一,用于分布式策略优化(DPO)。该文件负责初始化模型、加载数据、执行训练和评估等操作。
main_sft.py
main_sft.py
是 OpenFedLLM 项目的另一个主要启动文件,用于监督微调(SFT)。该文件同样负责初始化模型、加载数据、执行训练和评估等操作。
3. 项目配置文件介绍
config.py
config.py
是 OpenFedLLM 项目的配置文件,包含了项目运行所需的各种配置参数。例如:
- 模型参数: 如模型类型、模型大小等。
- 数据路径: 训练和评估数据的路径。
- 训练参数: 如学习率、批量大小、训练轮数等。
- 评估参数: 如评估指标、评估数据集等。
通过修改 config.py
文件中的参数,可以自定义项目的运行配置。
以上是 OpenFedLLM 项目的基本使用教程,涵盖了项目的目录结构、启动文件和配置文件的介绍。希望这些信息能帮助你更好地理解和使用该项目。