LLM-SFT 项目使用教程

LLM-SFT 项目使用教程

LLM-SFT中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微调, 推理, 测评, 接口)等.项目地址:https://gitcode.com/gh_mirrors/ll/LLM-SFT

1. 项目的目录结构及介绍

LLM-SFT 项目的目录结构如下：

LLM-SFT/
├── data/
│   ├── processed/
│   └── raw/
├── models/
│   ├── checkpoints/
│   └── utils/
├── scripts/
│   ├── train.py
│   └── evaluate.py
├── config/
│   ├── default.yaml
│   └── custom.yaml
├── README.md
└── requirements.txt

目录介绍

• data/: 存放数据文件，包括原始数据 (raw/) 和处理后的数据 (processed/)。
• models/: 存放模型文件，包括训练好的模型 (checkpoints/) 和模型相关的工具 (utils/)。
• scripts/: 存放脚本文件，包括训练脚本 (train.py) 和评估脚本 (evaluate.py)。
• config/: 存放配置文件，包括默认配置 (default.yaml) 和自定义配置 (custom.yaml)。
• README.md: 项目说明文档。
• requirements.txt: 项目依赖文件。

2. 项目的启动文件介绍

项目的启动文件主要位于 scripts/ 目录下：

• train.py: 用于启动模型训练的脚本。
• evaluate.py: 用于启动模型评估的脚本。

启动文件介绍

• train.py:

  • 功能：加载配置文件，初始化模型，进行训练。
  • 使用方法：在终端中运行 python scripts/train.py。

• evaluate.py:

  • 功能：加载训练好的模型，进行评估。
  • 使用方法：在终端中运行 python scripts/evaluate.py。

3. 项目的配置文件介绍

项目的配置文件位于 config/ 目录下：

• default.yaml: 默认配置文件，包含项目的默认参数设置。
• custom.yaml: 自定义配置文件，用户可以根据需要修改参数。

配置文件介绍

• default.yaml:

  • 包含训练和评估的默认参数，如数据路径、模型参数、训练轮数等。
  • 使用方法：在启动文件中加载此配置文件进行默认设置。

• custom.yaml:

  • 用户可以根据需要修改的配置文件，覆盖默认设置。
  • 使用方法：在启动文件中指定加载此配置文件进行自定义设置。

以上是 LLM-SFT 项目的基本使用教程，希望对您有所帮助。

LLM-SFT中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微调, 推理, 测评, 接口)等.项目地址:https://gitcode.com/gh_mirrors/ll/LLM-SFT