Releases · ggerganov/llama.cpp · GitHubPort of Facebook's LLaMA model in C/C++. Contribute to ggerganov/llama.cpp development by creating an account on GitHub.https://github.com/ggerganov/llama.cpp/releases?下载llama.cpp(选择2023年8月21号之前的版本)
使用CPUZ查看CPU指令集是否支持AVX512,或者其他,根据自己的CPU下载具体文件。
创建一个文件夹,将文件解压进来。
如果猜的没错的话,模型有多大,就需要多大内存,根据自己的内存选择。
将模型解压放在刚刚的文件夹里。
创建一个bat或者在当前目录打开一个终端。
输入:"server.exe" --ctx-size 4096 --threads 16 --model llama-2-70b-chat.ggmlv3.q8_0.bin --gqa 8
一定要加 --gqa 8这个参数才能运行,其他参数自行研究。
根据自己下的模型名修改上面的参数
打开终端里出现的网址。