昇思学习打卡-18-LLM原理与实践/MindNLP ChatGLM-6B StreamChat

模型介绍

ChatGLM-6B模型是一个开源的、支持中英双语的对话语言模型，由清华大学和智谱AI联合研发。

技术特点

• 模型量化技术：ChatGLM-6B结合了模型量化技术，使得用户可以在消费级的显卡上进行本地部署。在INT4量化级别下，最低只需6GB显存即可运行，大大降低了部署门槛。
• 优化方向：该模型针对中文问答和对话进行了优化，能够生成相当符合人类偏好的回答。
• 训练数据：ChatGLM-6B经过了约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，提升了模型的性能。

运行效果

测试了3句，感觉ChatGLM-6B还是有点钝，有点回复的最大长度限制了他的发挥一样的感觉。

所以又测试了一句长的，感觉回答还挺有意思的

此章节学习到此结束，感谢昇思平台。