使用CPU运行llama 70B版本

Releases · ggerganov/llama.cpp · GitHubPort of Facebook's LLaMA model in C/C++. Contribute to ggerganov/llama.cpp development by creating an account on GitHub.https://github.com/ggerganov/llama.cpp/releases?下载llama.cpp（选择2023年8月21号之前的版本）

使用CPUZ查看CPU指令集是否支持AVX512，或者其他，根据自己的CPU下载具体文件。

创建一个文件夹，将文件解压进来。

https://huggingface.co/TheBloke/Llama-2-70B-Chat-GGML/tree/mainhttps://huggingface.co/TheBloke/Llama-2-70B-Chat-GGML/tree/main选择模型文件下载

如果猜的没错的话，模型有多大，就需要多大内存，根据自己的内存选择。

将模型解压放在刚刚的文件夹里。

创建一个bat或者在当前目录打开一个终端。

输入："server.exe" --ctx-size 4096 --threads 16 --model llama-2-70b-chat.ggmlv3.q8_0.bin --gqa 8

一定要加 --gqa 8这个参数才能运行，其他参数自行研究。

根据自己下的模型名修改上面的参数

打开终端里出现的网址。