RTX2050也能部署ChatGLM2-6B大模型？

RTX2050显卡

22年入手了荣耀MagicBook14，RTX2050独显，毕竟N卡还是能做更多事情的。就比如，炼丹！

找到这两张图，其实RTX2050就是RTX3050开倒车回来的，显存位宽少了一半。
相较于同系列的2060和2070显存、显存位宽、带宽……有点不忍直视。

那少的显存位宽 和 带宽会影响什么性能呢？看到最后知道了。

部署ChatGLM2-6B

按理说大模型应该与我这种只有一张入门级显卡的穷X没什么交集才对，就只能调用调用API，但是某一天让我发现了这个图。

啊~6G显存，RTX2050有专用的4G显存+8G共享显存，哦？那是不是？我不会放过这个学习机会的。开干

1.先把环境给拉下来

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
pip install -r requirements.txt

用Pycharm打开文件夹，添加Python解析器，我这里直接用的python虚拟环境，没有用Conda（集成了Python环境）。

2.要用本地RTX跑，就选择从本地加载模型。不过如果第一次跑的话，这边有个坑哈
要拉int4的模型和参数 ，因此是 git clone https://github.com/THUDM/ChatGLM2-6B-int4

3.最后在代码里将模型和参数修改成自己的本地地址。

本地环境搭建

本地需要下载CUDA，这里面涉及到GPU、CUDA、Pytorch版本之间的一些基础知识。

先看下这篇文章确定安装CUDA的版本：链接: https://blog.csdn.net/qq_41264055/article/details/132092447
安装CUDA
链接: https://blog.csdn.net/weixin_38040996/article/details/128625794

AssertionError Torch not compiled with CUDA enabled报错，原因是Pycharm默认安装的是CPU版的Pytorch，重新安装Pytorch（GPU版）
链接: https://blog.csdn.net/qq_41264055/article/details/132092447

这里我的CUDA driver version是12.2，CUDA runtime version是11.7 ，Pytorch2.0.1。
运行

实际不到6GB

看起来还不错对不对？实际上平均20秒/字符，那个手加载了足足一分钟……