用 llama.cpp 跑通 mixtral MoE 模型

这里是 用 llama.cpp 跑通 mixtral MoE 模型 视频的笔记哦。

主要命令

1. 安装 huggingface_hub: pip install huggingface_hub -U
2. 下载模型 huggingface-cli download TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf —local_dir $PWD —local_dir_use_symlinks=False
3. 编译 llama.cpp LLAMA_CUBLAS=1 make -j10
4. 运行 ./main -m ~/autodl-tmp/mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf -ngl 999 --color -i -cml -p prompts/chat-with-qwen.txt

相关链接

1. https://mistral.ai/
2. https://huggingface.co/docs/huggingface_hub/guides/download
3. https://github.com/ggerganov/llama.cpp
4. https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF