ChatGLM2-6B、ChatGLM-6B 模型训练自己数据集实战

根据以下两位博主文章汇总整理：

ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战_dream_home8407的博客-CSDN博客

ChatGLM-6B模型部署以及ptuning微调详细教程_sawyes的博客-CSDN博客

介绍
ChatGLM-6B是开源的文本生成式对话模型,基于General Language Model(GLM)框架,具有62亿参数,结合模型蒸馏技术,实测在2080ti显卡训练中上(INT4)显存占用6G左右,

优点:

1.较低的部署门槛： FP16 半精度下，ChatGLM-6B 需要至少 13GB 的显存进行推理，结合模型量化技术，一需求可以进一步降低到 10GB（INT8） 和 6GB（INT4）， 使得 ChatGLM-6B 可以部署在消费级显卡上。
2,更长的序列长度： 相比 GLM-10B（序列长度1024），ChatGLM2-6B 序列长度达32K，支持更长对话和应用。
3,人类意图对齐训练： 使用了监督微调（Supervised Fine-Tuning）、反馈自助（Feedback Bootstrap）、人类反馈强化学习（Reinforce