全网最全 ｜ChatGLM2-6B 部署（利用autodl GPU算力）

硬件准备

• 申请阿里云GPU免费
• 或者自己在autoDL买GPU，挺便宜 ，建议租一张RTX 3090 24G够用啦
• 具体占用的GPU 大小
  

部署chatglm2-6B

• chatglm2 一共有6B 13B 两个参数量的模型，当然13B能力会更强一些，但考虑到我们的消费级显卡限制🚫，学习使用6B够用啦

• 放出模型参数、模型代码文件如下（需要科学上网可能）
  chatGLM-6B的Github地址：https://github.com/THUDM/ChatGLM-6B
  chatGLM-6B的模型地址：https://huggingface.co/THUDM/chatglm-6b

• 如果不服🫤的想从huggingface下载的，可以这样做
  更新git 、安装lfs，用来load大文件的一个工具

apt-get updata
apt-get install git-lfs 
git init
git lfs install 
#下载glm2 代码、和模型文件
#连接不稳定，可能需要多clone几次，或者直接本机download然后上传（ps 还是自己upload万无一失）
git clone https://github.com/THUDM/ChatGLM-6B
#model文件最好像我这样放置，好找一些～
cd ChatGLM-6B
mkdir model
cd model
git clone https://huggingface.co/THUDM/chatglm2-6b 

反正我下了好几次才work！ 2333～

• python conda 配置虚拟环境（配置服务器运行环境，防止包的重估）
  方式一：https://github.com/THUDM/ChatGLM2-6B/tree/main
  参考官方github配置过程、安装虚拟环境依赖
  方式二：

conda create -n 名字 -python=3.10
conda activate 名字
pip install -r 依赖文件.txt -i 这里可以加一个清华源的url 加速下载

注意：如果在windos安装 这里的torch安装比较特殊，自动装的torch和这里的文件名不一样，少了cu118，pypi默认下载的是cpu版本的torch，不支持cuda，我们用wheel文件安装，
懒人包：百度：https://pan.baidu.com/s/1mxM-tdTiNxRGBzHzI7rlcw?pwd=plz9
提取码：plz9
（谁家好人用window233 ，linux🐮）
一定要新一点点python版本！ 比如3.10 不如install依赖容易出问题卡

• 修改模型配置
  简单来说，就是让原先的代码知道现在模型参数文件放在哪里了？
  修改模型路径 两处，建议用绝对路径！！！！
  
  这里用gradio开发的web_demo.py的可视化界面，使用前我们可以设置share=True可以生成公网访问url、也可以配置端口（但是，我配了也没生成，气死🐦）直接做个ssh内网穿透，省的麻烦，不过要注意gradio的运行端口，和你租的服务器有没有开放这个port！

如果你用的是autodl，直接该server_port=6006，然后点击控制台面的 自定义服务，就可以了，他只开放了6006端口哦

• 运行web_demo.py没问题～
• 如果有报错，请搜报错原因，或者留言给我～

👋 拜拜各位，下期再见