【工程记录】ChatGLM3-6B微调实践的更新说明

---

写在前面

仅作个人学习记录用。本文对上一篇 【工程记录】ChatGLM3-6B微调实践（Windows） 的内容进行更新与补充说明。

1. 环境依赖更新

注意：ChatGLM3-6B 微调示例需要 python>=3.10；除基础的 torch 依赖外，其他重要依赖与上一篇文章发布时相比发生了变化：

protobuf>=4.25.3
transformers>=4.39.3
tokenizers>=0.15.0
cpm_kernels>=1.0.11
torch>=2.1.0
gradio>=4.26.0
sentencepiece>=0.2.0
sentence_transformers>=2.4.0
accelerate>=0.29.2
streamlit>=1.33.0
fastapi>=0.110.0
loguru~=0.7.2
mdtex2html>=1.3.0
latex2mathml>=3.77.0
jupyter_client>=8.6.1

2. 微调数据格式更新

ChatGLM3-6B模型的官方文档更新了微调示例。微调方法上，提供SFT，LoRA和 P-Tuning v2。格式上，提供多轮对话微调样例和输入输出格式微调样例。

如果想要使用自己的数据集进行模型微调，需要首先统一样例格式。同时，ChatGLM3-6B微调对话和微调工具能力的数据格式也不相同。

本文实践仅使用输入输出格式来微调对话，与上一篇文章发布时相比，输入输出格式要求发生了变化。我针对此变化编写了一段将上一篇文章发布时的输入输出格式转换成当前格式的代码：

import json
with open(".../train.jsonl", "r", encoding='utf-8') as f:
    data = [json.loads(line) for line in f]


train_examples = [{'conversations': [{'role': 'user', 'content': x['promt']},
                  {'role': 'assistant', 'content':x['response']}]} for x in data]

with open(".../train.json", "wt", encoding='utf-8') as f:
    for e in train_examples:
        f.write(json.dumps(e, ensure_ascii=False) + '\n')

效果如下：

# 输入输出格式（前）：
[
  {
    "prompt": "<prompt text>",
    "response": "<response text>"
  }
  // ...
]

# 输入输出格式（后）：
```json
[
	{'conversations': [{'role': 'user', 'content': "<prompt text>"},{'role': 'assistant', 'content':"<response text>"}]}
	{'conversations': [{'role': 'user', 'content': "<prompt text>"},{'role': 'assistant', 'content':"<response text>"}]}
	...
]

作为示例，使用 AdvertiseGen 数据集进行微调实践。之前的train.jsonl格式如下：

[
  // ... 
  {
    "prompt": "类型#上衣*版型#宽松*版型#显瘦*图案#线条*图案#刺绣*衣样式#针织衫*衣领型#v领",
    "response": "一款温暖柔软又富有弹性的针织衫，不仅可以抵御严寒侵袭，还能更好地进行搭配。v领的设计，能勾勒出迷人的天鹅颈以及衬托出娇小的脸型。宽松又别致的剪裁，能从视觉上显露纤长的下半身，起到显瘦的效果。直筒造型的袖子，修饰出优美的手臂线条，衣身上的方格刺绣，时尚又吸睛。"
  }
  // ...
]

经过上述步骤得到train.json：

[
	... 
	{'conversations': [{'role': 'user', 'content': "类型#上衣*版型#宽松*版型#显瘦*图案#线条*图案#刺绣*衣样式#针织衫*衣领型#v领"},{'role': 'assistant', 'content':"一款温暖柔软又富有弹性的针织衫，不仅可以抵御严寒侵袭，还能更好地进行搭配。v领的设计，能勾勒出迷人的天鹅颈以及衬托出娇小的脸型。宽松又别致的剪裁，能从视觉上显露纤长的下半身，起到显瘦的效果。直筒造型的袖子，修饰出优美的手臂线条，衣身上的方格刺绣，时尚又吸睛。"}]}
	...
]

这样AdvertiseGen 数据集样本就满足了 ChatGLM3-6B 要求的输入输出格式，也可以根据上述多轮对话或输入输出格式准备个性化领域数据来微调模型。

注意：最新的微调代码中加入了验证集，因此，对于一组完整的微调数据集，必须包含训练数据集train.json和验证数据集dev.json，测试数据集可以不填写或者直接用验证数据集代替。

3. 微调方式更新

更新后的微调方式包括SFT，LoRA和 P-Tuning v2，非常简单，具体可参考【官方文档】。

注意：上一篇文章提到的 “ 需要将accelerate包的state.py文件中的backend='nccl’改为backend=‘gloo’ ”的问题 ，在目前的版本要求accelerate>=0.29.2下并不存在，直接忽略即可。

训练完成后，checkpoint 保存至你自己设置的output_dir位置（在configs文件夹对应的微调方式的yaml文件中）。

4. 微调后模型推理验证方式更新

更新后可使用 inference_hf.py 进行基本的推理验证。在finetune_demo 文件夹目录下，终端输入：

python inference_hf.py your_finetune_path --prompt [your prompt]