Huatuo Llama Med Chinese 教程

Huatuo Llama Med Chinese 教程

Huatuo-Llama-Med-ChineseRepo for BenTsao [original name: HuaTuo (华驼)], Instruction-tuning Large Language Models with Chinese Medical Knowledge. 本草（原名：华驼）模型仓库，基于中文医学知识的大语言模型指令微调项目地址:https://gitcode.com/gh_mirrors/hu/Huatuo-Llama-Med-Chinese

1. 项目目录结构及介绍

以下是对Huatuo-Llama-Med-Chinese项目的基本目录结构及其作用的概述：

Huatuo-Llama-Med-Chinese/
├── README.md         # 项目简介和指南
├── config.yml        # 默认配置文件
├── requirements.txt  # 依赖项列表
├── src/
│   ├── model.py       # 模型定义和加载
│   ├── tokenizer.py   # 词法分析器
│   ├── trainer.py     # 训练脚本
│   └── inference.py   # 推断脚本
└── scripts/
    ├── train.sh       # 训练脚本bash文件
    └── infer.sh       # 推断脚本bash文件

• README.md: 项目说明，包括安装和使用指导。
• config.yml: 存储模型微调和推断的参数设置。
• requirements.txt: 列出所有必要的Python库，供安装依赖。
• src/: 代码主体，包含了模型相关的实现。
  • model.py: 定义Huatuo模型并处理模型加载。
  • tokenizer.py: 实现对输入文本的预处理和tokenization。
  • trainer.py: 包含模型的训练逻辑。
  • inference.py: 提供模型的推断功能。
• scripts/: 包含自动化训练和推断的shell脚本。

2. 项目的启动文件介绍

2.1 训练脚本

启动训练Huatuo模型，你可以运行scripts/train.sh。这个脚本通常会执行以下步骤：

1. 根据config.yml配置加载参数。
2. 导入并初始化模型。
3. 加载数据集。
4. 开始模型训练循环，并保存最佳模型。

确保修改train.sh以适应你的计算环境和训练需求，例如GPU分配和训练轮次。

2.2 推断脚本

对于模型的推断，使用scripts/infer.sh。它会加载预先训练的模型并进行预测：

1. 根据config.yml配置加载参数。
2. 初始化模型，加载最佳权重。
3. 从命令行或指定文件中获取输入文本。
4. 使用模型进行文本处理并输出结果。

同样，根据实际需求调整infer.sh中的路径和参数。

3. 项目的配置文件介绍

config.yml是项目的主要配置文件，包含模型训练和推断的关键参数。示例内容可能如下：

model:
  name: huatuo_llama_med
  checkpoint_path: ./checkpoints/best_model.ckpt
  max_length: 256
  min_length: 50

data:
  train_data_path: ./data/train.csv
  valid_data_path: ./data/validation.csv
  test_data_path: ./data/test.csv

training:
  batch_size: 8
  epochs: 5
  learning_rate: 5e-5
  weight_decay: 0.01
  early_stopping_patience: 3

inference:
  input_text: "请输入待处理的文本"
  output_file: "./results/output.txt"

• model: 有关模型的部分，包括名称、检查点路径、最大和最小序列长度。
• data: 数据路径，如训练、验证和测试数据集的位置。
• training: 训练参数，如批大小、迭代次数、学习率和权重衰减。
• inference: 推断参数，包括输入文本、输出文件路径。

根据具体应用，你可以修改这些参数来适应不同的任务和环境。记得在更新配置后重新运行相应的脚本。

Huatuo-Llama-Med-ChineseRepo for BenTsao [original name: HuaTuo (华驼)], Instruction-tuning Large Language Models with Chinese Medical Knowledge. 本草（原名：华驼）模型仓库，基于中文医学知识的大语言模型指令微调项目地址:https://gitcode.com/gh_mirrors/hu/Huatuo-Llama-Med-Chinese