目录
一:模型介绍
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。
ChatGLM-6B 权重对学术研究完全开放,在填写问卷进行登记后亦允许免费商业使用。ChatGLM-6B 权重对学术研究完全开放,在填写问卷进行登记后亦允许免费商业使用。
二:环境准备
我们通过官方软件库 https://github.com/THUDM/ChatGLM-6B 这个地址查看安装步骤,发现安装6B需要的显存至少是6g,由于我们的显存不够,只能在cpu模式下运行,我们这里使用量化以后的INT4,需要提前安装软件gcc 与 openmp
注意:
如果需要在 cpu 上运行量化后的模型&