ChatGLM-6B 本地安装、部署和运行的常见问题解答及优化建议

分享一点自己本地安装部署运行 ChatGLM-6B 的过程中的心得和二次优化开发吧。主要是比如怎么防止GPU运行时爆显存，GPU运行时减少显存占用，一些常见的报错应该怎么解决，推理参数的调整方案，怎么开启局域网访问，怎么给网页加上HTTPS。

---

 目录

ChatGLM-6B 常见报错及解决方案

报错 No module named ‘transformers_modules.THUDM/chatglm-6b’

报错 not enough memory: you tried to allocate 123456789 bytes.

报错 AssertionError: Torch not compiled with CUDA enabled

ChatGLM-6B 减少显存与内存占用

ChatGLM-6B 加载量化模型

ChatGLM-6B 优化多轮对话后的内存/显存占用大，解决爆显存问题

ChatGLM-6B 的推理参数含义

Maximum length 参数

Top P 参数

Temperature 参数

ChatGLM-6B 其他设置

ChatGLM-6B 开启网页远程分享

ChatGLM-6B 开启局域网访问/开启公网访问

ChatGLM-6B 修改本地网页端口号

目前正在做的调试

---

ChatGLM-6B 常见报错及解决方案

报错 No module named ‘transformers_modules.THUDM/chatglm-6b’

报错本身的意思是，没有在指定的路径THUDM/chatglm-6b找到推理用模型
一般常见于自己手动下载模型，而不是通过下边这些文件直接启动，自动下载的情况
你需要修改web_demo.py，web_demo.py，old_web_demo2.py，cli_demo.py，api.py等文件中涉及模型路径部分的代码,一般在文件的开头或者结尾附近。

    tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
    model = AutoModel.from_pretrained