AIGC - ChatGLM大模型：ChatGLM2-6B模型推理部署

前言

如果你要问我为什么直接部署ChatGLM2的模型？

因为当我在8月份在上海召开的全球人工智能大会上了解到清华-智谱发布的ChatGLM模型时，它已经发布了新的版本ChatGLM2，并且推理的效果提升了不少，那么本着只要最好的原则，我就直接上手先玩新版本了。

模型简介

部署的环境

作为AIGC方面的小白来说，我抱着非常天真的想法，想让它在我的工作笔记本上用i5的CPU去跑，至于为什么这么想，当然是因为我没有GPU，身边也没有其他的带显卡电脑

恰好，在腾讯云看到了GN7的显示优惠活动，60块钱15天，Nvidia T4的AI卡，直接斥巨资购买了15天

并且为了方便访问模型资源，我这里选择了新加坡的节点

软件环境

腾讯云的服务器，我选择了自己常用ubuntu镜像，同时此模型都是基于python语言，pytorch框架训练的模型，为了便于管理python版本库，使用anaconda来管理。

具体软件环境版本如下：

        conda 4.8.2

        python 3.9

        pytorch2.0.1

        cuda 11.7

具体的软件环境搭建过程，另起一篇去记录

代码工程及模型准备

1. github工程准备

git clone https://github.com/THUDM/ChatGLM2-6B.git

下载完后，进入到工程目录下 需要执行 pip install -r requirements.txt 安装需要的依赖

2. 模型权重准备

模型权重一般在huggingface上，但是现在huggingface被墙了，国内的同学需要科学上网才行，这里国内的小伙伴推荐去国内的modelscope下载模型权重

下载前需要安装git-lfs

sudo apt-get install git-lfs

使用git下载：

git lfs clone https://www.modelscope.cn/ZhipuAI/chatglm2-6b.git

运行

1.修改运行脚本cli_demo.sh

将模型路径修改为本地路径，即刚刚从modelscope下载的

2.运行推理

跑一个命令行的对话

python cli_demo.py

同时，官方也提供了 网页版的web_demo,同样只需要修改模型路径为本地即可

体验