全网最全windows11 量化部署Llama2踩坑集合

自从Llama2宣布可商用后，相信很多小伙伴都想一睹真容，奈何大模型对算力等各方面的要求就高，个人电脑只能望而却步，好在有llama.ccp的量化技术，使得个人windows电脑可以部署Llama2。在部署的过程中也是问题频出，下面就将踩过的坑分享给大家：

1.llama.cpp编译不过，各种奇怪问题。

按照网上各种教程，采用cmake进行编译，包括下载MinGW,一路踩坑过去依旧编译不过。

CMake Error:CMAKE_C_COMPILER not set ,after Enablelanguage

  报错1

recipe for target 'CMakeFiles/ggml.dir/all' failed

报错2

到这里相信很多小伙伴选择放弃了，网上已经很难找到解决问题的办法。经过小编的不懈努力，正解来了：

按照llama.cpp官网说明，windows可以采用w64devkit进行编译，下载安装后，编译成功，离llama2又近了一步。

llama.cpp官网截图

2.模型量化，报找不到config.json文件的错误

这个问题解决起来难度比较大，官方下载的模型文件夹中确实没有包含config.json文件，一度怀疑文件下载不全。经过苦苦寻找，终于找到了解决方案，需要先对模型进行转换，具体如下：

使用安装的transformers模块，对模型进行转换，转换为hungingface可以识别的文件。转换成功后，再次执行量化步骤，完美通关！

python D:\Anaconda3\envs\llm\Lib\site-packages\transformers\models\llama\convert_llama_weights_to_hf.py --input_dir C:\work\llm\Llama-2-7b --model_size 7B  --output_dir C:\work\llm\7b-4bit

3.执行命令中各种文件找不到

采用最粗暴最原始的方式，全部用绝对路径，同时所有的文件路径中不要出现中文。

以上3大坑都踩过了，打算体验llama2的小伙伴，可以试试，相信很快就可以看到llama2真容了！

llama2对话效果