window11 部署llama.cpp并运行Qwen2-0.5B-Instruct-GGUF

吾名爱妃，性好静亦好动。好编程，常沉浸于代码之世界，思维纵横，力求逻辑之严密，算法之精妙。亦爱篮球，驰骋球场，尽享挥洒汗水之乐。且喜跑步，尤钟马拉松，长途奔袭，考验耐力与毅力，每有所进，心甚喜之。

 

吾以为，编程似布阵，算法如谋略，需精心筹谋，方可成就佳作。篮球乃团队之艺，协作共进，方显力量。跑步与马拉松，乃磨炼身心之途，愈挫愈勇，方能达至远方。愿交志同道合之友，共探此诸般妙趣。

诸君，此文尚佳，望点赞收藏，谢之！

1. 下载llama.cpp框架编译环境（llama.cpp/docs/build.md at master · ggerganov/llama.cpp · GitHub）：

2. 下载w64devkit：Releases · skeeto/w64devkit · GitHub

3. 解压后直接运行w64devkit.exe：

4. 下载llama.cp源码：

git clone https://github.com/ggerganov/llama.cpp

进入llama.cpp目录，执行make命令：

5. 运行后，在llama.cpp目录找到llama-cli.exe表示安装成功

6. 下载Qwen2-0.5B-Instruct-GGUF格式模型：魔搭社区

7.在llama-cli.exe文件所在目录新建chat-with-qwen.txt文件，内容为：You are a helpful assistant.

在llama-cli.exe文件所在目录打开命中行，执行：

llama-cli.exe -m ..\Qwen2-0.5B-Instruct-GGUF\qwen2-0_5b-instruct-q5_k_m.gguf -n 512 -co -i -if -f chat-with-qwen.txt --in-prefix "<|im_start|>user\n" --in-suffix "<|im_end|>\n<|im_start|>assistant\n" -ngl 24

结果：

可以进行交互了~

8. 以服务的形式运行模型：

llama-server.exe -m ..\Qwen2-0.5B-Instruct-GGUF\qwen2-0_5b-instruct-q5_k_m.gguf -ngl 24 -fa

结果：

启动成功，使用postman测试：