上海海文旗下的ABC智慧教研平台现推出定制化应用部署服务,在服务器条件符合的情况下,ABC智慧教研平台可选购更丰富多样的人工智能应用环境。
本次海文教务团队(HWUA Group)带来的是ChatGLM-6B的功能介绍、软硬件要求及演示案例。如有需求可登录ABC智慧教研平台(http://abc.hwua.com)进一步了解。
ChatGLM-6B是清华大学开发的一个开源的、支持中英双语的对话语言模型,基于GeneralLanguageModel (GLM) 架构,具有62亿参数。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
由于ChatGLM-6B的规模较小,目前已知其具有的局限性,如事实性/数学逻辑错误,可能生成无关内容,较弱的上下文能力,以及对英文指示生成与中文指示不同的内容。更大的基于1300亿参数GLM-130B的ChatGLM正在内测开发中。
ChatGLM-6B有如下特点:
- 充分的中英双语预训练:ChatGLM-6B 在 1:1 比例的中英语上训练了 1T 的token量,兼具双语能力。
- 优化的模型架构和大小: