Ollama高手，调优Ollama模型参数，提高模型输出质量

Ollama系列文章：
Ollama入门，一键启动本地DeepSeek大模型
Ollama入门，Ollama技术架构与原理
Ollama进阶，在Python、Java、Go项目中集成Deepseek、QWQ大模型
Ollama进阶，在Javascript(nodejs)前后端项目中集成Deepseek、QWQ大模型
Ollama高手，玩转本地自定义大模型（LLM）
Ollama高手，调优Ollama环境变量，提高性能与安全性
Ollama高手，调优Ollama模型参数，提高模型输出质量

---

在实际使用中，Ollama本地大模型生成的内容往往差强人意，有时候生成速度也一言难尽，这时就需要调整一下模型参数。在 Ollama 中，模型参数主要用于控制模型的行为和推理过程。通过调整这些参数，你可以影响模型的输出质量、生成速度、资源占用等方面。

1、如何查看和修改Ollama模型参数

查看Ollama模型参数

可以通过 API 或 CLI 查看和修改模型的参数。以下是具体的方法：

方法一：使用 API 查看模型参数

curl http://localhost:11434/api/show -d '{"name": "your_model_name"}'

这时接口会返回类似于这样的内容：

{
  "name": "your_model_name",
  "parameters": {
    "temperature": 0.8,
    "top_p": 0.9,
    "max_tokens": 2048,
    "repeat_penalty": 1.1
  }
}

方法二：使用 CLI 查看模型参数

ollama show your_model_name

这时终端会返回类似于这样的内容：

Name: your_model_name
Temperature: 0.8
Top P: 0.9
Max Tokens: 2048
Repeat Penalty: 1.1

修改 Ollama 模型参数

方法一：通过 API 修改模型参数（临时）

curl http://localhost:11434/api/generate \
  -d '{
    "model": "your_model_name",
    "prompt": "请介绍一下Python的优点。",
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 500
  }'

方法二：在 CLI 中临时修改参数

ollama run your_model_name --temperature 0.7 --max-tokens 500

方法三：通过 Modelfile 固定模型参数
(1) 编辑模型的 Modelfile。

FROM llama2

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER max_tokens 1024
PARAMETER repeat_penalty 1.2

(2)使用 ollama create 命令重新构建模型

ollama create my_custom_model -f Modelfile

(3)运行模型

2、如何个性化推理输入

在Modelfile中TEMPLATE指令有着与PARAMETER相当重要的命令，它用于设置模型在推理时的 输入模板，从而控制模型如何接收和处理提示（prompt）和上下文。具体包括：

• 标准化输入格式：确保模型的输入结构符合其训练时的预期格式。
• 提供上下文：在实际推理中，将历史对话或额外信息嵌入到输入中。
• 定制模型行为：通过模板调整不同场景下的模型表现，例如问答、写作或代码生成。
• 兼容性调整：某些模型（如 LLaMA 系列）需要特定的模板结构才能输出正确的结果。

基本语法

在 Modelfile 中，TEMPLATE 使用 多行文本 的形式定义。通常包含变量占位符，如 {system}, {prompt}, {context} 等，用于动态替换输入。

TEMPLATE """
<system>
{system}

</system>
<user>
{prompt}
</user>
<assistant>
"""

其中：
• {system}：系统提示词，通常用于设定模型的角色或任务背景。
• {prompt}：用户输入的内容，即模型需要响应的内容。
• {context}：模型的历史上下文信息，用于多轮对话场景。
• <user>、<assistant>：标识用户和模型的角色，有助于对话生成。

基本场景

简单问答场景

TEMPLATE """
<system>
You are a helpful assistant.
</system>
<user>
{prompt}
</user>
<assistant>
"""

多轮对话场景

TEMPLATE """
<system>
You are a conversational assistant.
</system>
{context}
<user>
{prompt}
</user>
<assistant>
"""

代码生成场景

TEMPLATE """
<system>
You are a coding assistant. Provide efficient and correct code solutions.
</system>
<user>
{prompt}
</user>
<assistant>
"""

3、有哪些重要的Ollama模型参数

Temperature（温度）

控制文本生成的随机性。
• 低温度（如 0.2）： 更确定的答案，适合问答和分析任务。
• 高温度（如 1.5）： 更具创造性，适合写作和生成故事。

Top-p 和 Top-k

• Top-p 控制采样时考虑的词汇概率范围。
• Top-k 只从前 K 个最高概率的词汇中选择。
• 通常这两个参数配合使用以平衡生成质量和多样性。

Max Tokens

• 限制生成文本的最大长度，防止无限生成。
• 推荐根据任务需求合理设置。

Repeat Penalty

• 避免模型生成重复内容。
• 值越高，重复内容的可能性越低。

System

• 为模型提供背景信息或角色设定，影响生成风格。
• 可以用来设置场景或角色扮演。

通过合理设置以上模型参数，可以有效提升模型的输出质量、生成速度，减少资源占用，以下是实操过程中的一些调优原则：
• 平衡生成质量和速度： 降低 temperature 和 top_p 提高准确性，同时减少推理时间。
• 控制上下文长度： 合理使用 max_tokens 和 context，防止内存溢出。
• 避免模型幻觉： 使用低 temperature 和高 repeat_penalty，减少模型编造信息的概率。
• 调试和复现： 设置 seed 确保相同输入产生一致的结果。

4、如何生成稳定且准确的回答

需要准确的事实性回答，例如问答系统。这时需要降低温度，确保模型输出更确定的答案；使用 Top-p 和 Top-k 保持适当的生成灵活性；限制最大 Token 数量，避免冗余信息。

{
  "temperature": 0.2,
  "top_p": 0.8,
  "top_k": 50,
  "max_tokens": 512,
  "repeat_penalty": 1.2
}

5、如何生成创意和多样化内容

需要模型生成故事、诗歌等创造性文本。这时需要提高温度，鼓励生成更多样化的内容；使用较大的 Top-p 和 Top-k，允许更多候选词汇； 通过 Presence Penalty 激励模型引入新概念。

{
  "temperature": 1.5,
  "top_p": 0.9,
  "top_k": 100,
  "max_tokens": 1024,
  "presence_penalty": 1.2
}

6、如何避免重复和冗余

防止生成重复内容，例如摘要或长篇回答。这时需要使用较高的 Repeat Penalty 降低重复生成的概率；使用 Frequency Penalty 限制重复词汇出现的次数。

{
  "temperature": 0.7,
  "repeat_penalty": 1.5,
  "frequency_penalty": 1.8,
  "max_tokens": 500
}

7、如何实时流式输出

实现聊天机器人等需要快速响应的应用。这时需要启用流式输出，减少响应延迟；适度的温度允许输出更自然的对话。

{
  "temperature": 0.9,
  "stream": true,
  "max_tokens": 512
}

8、Ollama模型参数参考

生成控制参数

参数	含义	取值范围	说明
num_predict	单次生成的最大 Token 数	1~∞	限制回答长度，值过大会生成冗余内容，过小可能导致回答不完整。
temperature	输出随机性	0.0~2.0	低温（如 0.1）输出确定性高；高温（如 0.8）输出更随机。
top_k	候选 Token 数量	1~∞	仅从概率最高的前 top_k 个 Token 中采样，值小则输出更集中。
top_p	核采样阈值	0.0~1.0	从累积概率超过 top_p 的 Token 中随机选择，与 top_k 互补。
min_p	最低概率阈值	0.0~1.0	过滤掉概率低于此值的 Token，值越大输出越保守。
typical_p	典型概率阈值	0.0~1.0	保留概率接近典型分布的 Token，平衡多样性与一致性。
num_keep	保留的初始 Token 数	0~num_ctx	强制保留前 num_keep 个 Token（如系统提示），避免被覆盖。

重复与惩罚机制

参数	含义	取值范围	说明
repeat_penalty	重复惩罚系数	1.0~2.0	值越大，模型越避免重复已生成的内容。
repeat_last_n	检查重复的上下文长度	0~num_ctx	检查最近repeat_last_n个Token是否重复。
presence_penalty	新主题奖励	-2.0~2.0	正值鼓励新主题，负值倾向保持当前内容。
frequency_penalty	重复词惩罚	-2.0~2.0	正值惩罚频繁出现的词，负值允许更多重复。
penalize_newline	换行符惩罚	true/false	若为true，生成换行符（\n）的概率会降低。

高级生成算法

参数	含义	取值范围	说明
mirostat	动态温度控制模式	0/1/2	0 = 关闭，1 = 基于困惑度的动态调整，2 = 更激进调整。
mirostat_tau	目标困惑度	1.0~10.0	值越小，输出越保守（如 3.0 适合事实回答）。
mirostat_eta	学习率	0.001~1.0	控制 mirostat 调整速度，值小则调整更平缓。

停止与截断

参数	含义	取值范围	说明
stop	停止生成的条件	字符串列表	遇到列表中的字符串（如 [“\n”, “user:”]）时停止生成。
seed	随机种子	0~2^64	固定种子可使生成结果可复现（如 42）。

系统资源与性能

参数	含义	取值范围	说明
num_ctx	上下文窗口大小	512~8192	显存占用与 num_ctx 的平方相关，值越大支持更长对话。
num_gpu	GPU 运行的层数	0~ 总层数	如 num_gpu=1 表示仅第 1 层用 GPU，其余用 CPU。
main_gpu	主 GPU 设备编号	0~N	多 GPU 时指定主设备（如 0 代表第一块 GPU）。
num_batch	并行处理的批次大小	1~∞	增大可提升吞吐量，但增加显存占用。
num_thread	CPU 线程数	1~CPU 核心数	多线程加速计算（如 8 线程）。
low_vram	低显存模式	true/false	启用后会优化显存使用，但可能降低速度。
numa	NUMA 优化	true/false	在多 CPU 架构（如服务器）上优化内存访问。

模型加载与内存

参数	含义	取值范围	说明
use_mmap	内存映射加载模型	true/false	减少内存占用但可能稍慢（默认 true）。
use_mlock	锁定模型到内存	true/false	防止模型被换出到磁盘，提升速度但需足够内存。
vocab_only	仅加载词表	true/false	快速启动但无法生成内容（用于调试）。