ChatGLM3-6B P-Tuning微调记录（Windows）

一、数据集准备 （AdvertiseGen数据集）

目的：将AdvertiseGen数据集的格式转换成chatglm3的格式。

1、下载AdvertiseGen数据集

2、D:\tyf\ChatGLM3-main\finetune_chatmodel_demo 在此路径下创建文件夹data

3、将数据集解压至data文件夹

4、txt格式打开D:\tyf\ChatGLM3-main\finetune_chatmodel_demo\scripts\format_advertise_gen.py

      文件，在open语句中加入标红字段

      with open(args.path,encoding="utf-8") as f:

5、命令行进入finetune_chatmodel_demo目录，标红路径修改为自己的train.json文件路径

      python scripts/format_advertise_gen.py --path "data/AdvertiseGen/train.json"

6、运行成功后，终端无反应，finetune_chatmodel_demo文件夹内生成新的文件夹

      formatted_data，内有文件advertise_gen.jsonl                 

二、P-Tuning微调

1、将chatglm3-6b-32k文件夹放入finetune_chatmodel_demo文件开内

2、将D:\tyf\ChatGLM3-main\finetune_chatmodel_demo\scripts\finetune_pt.sh中

      的BASE_MODEL_PATH替换为自己的chatglm3-6b-32k的路径

      即BASE_MODEL_PATH=chatglm3-6b-32k

3、因为nccl只有linux有，所以需要将D:\tyf\anaconda\envs\ppytorch\Lib\site-packages\accelerate

      文件夹中的state.py文件中的backend='nccl'全部改为backend='gloo'

   （此处我用的word查找替换）

4、用pycharm打开ChatGLM3-main，终端进入finetune_chatmodel_demo文件夹

      ./scripts/finetune_pt.sh 

      开始训练。