本地部署千问大模型笔记

使用llama.cpp运行大模型：

main 命令有一系列参数可选，其中比较重要的参数有：

-ins 交互模式，可以连续对话，上下文会保留
-c 控制上下文的长度，值越大越能参考更长的对话历史（默认：512）
-n 控制回复生成的最大长度（默认：128）
–temp 温度系数，值越低回复的随机性越小

https://www.chenshaowen.com/blog/llama-cpp-that-is-a-llm-deployment-tool.html