ChatGML3-6b本地模型部署问题集合

chatgpt强势来袭，未来的时代是人工智能的时代，国外的chatgpt4.0很好用，但我们也需要有自己的模型，现在我就来揭露一下、chatgpt的真面目究竟是人工智能还是人工智障？。GitHub - billtao2018/chatgml3-6b，点击链接，到github上它的介绍来安装。

参考文档，链接有如下： GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型

【ChatGML3】最强的离线开源版ChatGPT，一键部署，解压即用

chatglm3-6b 安装 Git Large File Storage - GitHub 文档Git推出大文件储存工具Git LFS，但它真的好用吗？_git lfs版本_龙智DevSecOps解决方案的博客-CSDN博客

一. conda下载torch=2.0.0，cuda=11.7,一步一步来（新手推荐）。

conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.7 -c pytorch -c nvidia

git clone https://github.com/THUDM/ChatGLM3

cd ChatGLM3

pip install -r requirements.txt

>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True, device='cuda')
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
>>> response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
>>> print(response)

二.遇到的问题：1.ubuntu20.04卡在安装较新版本pytorch这里,换一个旧环境，比如（cuda=11.3.1,pytorch=1.10.1），然后继续下一步，后来发现pytorch被更新到了2.1.1。2.调用 ChatGLM3-6B 模型来生成对话，命令行运行这个python代码。ubuntu20.04的pycharm过期了，点击这个网站按操作阅读全文获取激活码，然后在pycharm打开项目ChatGML3项目，然后打开控制台，输入代码调用生成模型的代码（推荐使用modelscope下载），从本地加载模型（～等待～），继续下一步。(或者终端中输入python，出现<<<之后就可用了。）

3.网络环境差。。。只有等待。。。，等待11点30开始到下午两点半，报错了没截图，ubuntu屏幕自己关，换一个模型下载方式， Hugging Face Hub，Git LFS（LargeFileStorage，大型文件存储）是一个相对于GitHub高级开发者非常重要的东西。当一个项目的最大文件超过128MB，那么Git就会报错。这时候，就要请出我们的Git LFS了。下图一是modelscope的结果，transformers的结果下图2（大概是多了一行network is unreachable），

终端有它的独特优势，pycharm也有它的独特优势。用modelscope多试了几次，成功下载好了。10g等待时长2两小时。实在慢，如果有别的办法可以在评论区一起探讨。

4.显存不太够4070ti的显存只有12G多。差了214MB，pytorch用了11.72GB，解决方法：阅读其他博客此法不行，ubuntu中只有一个gpu0，换低成本cpu部署。https://blog.csdn.net/CCCCXXXXGGGG/article/details/104338617?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170176950316800222842452%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=170176950316800222842452&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-104338617-null-null.142^v96^pc_search_result_base1&utm_term=%E5%A6%82%E4%BD%95%E6%89%A9%E5%A4%A7%E6%98%BE%E5%AD%98%E5%A4%A7%E5%B0%8F&spm=1018.2226.3001.41875.python崩了？低成本部署出现如下问题，模型不存在，需要注册。API部署是和transformers部署一样错误。

6系统信息：