qq_69491484的博客

原创 单卡3090可得专属ChatGPT：使用LoRA+ChatGLM

针对ChatGLM模型，因为其本身预训练的语料就包含了大量中文，已经能生成相当符合人类偏好的回答，因此对其进行进一步的通用中文指令精调意义不大， （这里给出我使用五万BELLE项目产生的中文指令数据集及在此基础上训练七个epoch后得到的LoRA权重，各位可自行对比与原ChatGLM的区别） 后续会直接尝试基于LoRA、P-tuning v2等参数有效性方法针对垂直领域进行训练。