Windows部署chatGLM2-6B踩坑全记录

为了部署方便采用anaconda，全程使用conda install代替pip install，因为它不仅可以安装依赖的python包，还能同时安装依赖的动态链接文件。按照官方文档介绍的步骤在本地windows部署4位量化版本，遇到了以下问题：

1. 执行 python web_demo.py，发现没有GCC命令，需要安装gcc和openmp，正好TDM-GCC可以顺带安装openmp，于是下载了TDM-GCC，安装过程中需要勾选安装openmp。

2. 安装了transformers模块，但是运行web_demo.py时依然提示No module named "transformers_modules."。尝试重装transformers模块无果，后来发现是模型的路径不能用带“.”的相对路径，后改用绝对路径解决了这个问题。

3. 运行web_demo.py时遇到Torch not compiled with CUDA enabled错误。下载安装Nvidia CUDA toolkit。查询Previous PyTorch Versions | PyTorch找到相应版本的pytorch配合相应版本CUDA的安装命令。我这里执行了：conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

4. 运行web_demo.py时遇到ModuleNotFoundError: No module named 'chardet'错误。执行：conda install chardet

5. FileNotFoundError: Could not find module 'C:\Users\netfl\.cache\huggingface\modules\transformers_modules\model\quantization_kernels_parallel.so' (or one of its dependencies).

实测对程序运行没影响。要完全解决这个问题，可以到huggingface的chatGLM2项目里去下载2个.c文件，本地自行编译。