ollama 部署自己微调过的模型

使用 Ollama 导入模型

本指南将介绍如何在 Ollama 中导入 GGUF、PyTorch 或 Safetensors 模型。

导入 GGUF 模型

第一步：编写 Modelfile

首先创建一个 Modelfile。该文件是模型的蓝图，用于指定权重、参数、提示模板等。

示例 Modelfile：

FROM ./mistral-7b-v0.1.Q4_0.gguf
TEMPLATE "[INST] {
  { .Prompt }} [/INST]"

第二步：创建 Ollama 模型

使用 Modelfile 创建一个模型：

ollama create example -f Modelfile

第三步：运行你的模型

使用以下命令测试模型：

ollama run example "你最喜欢的调味品是什么？"

导入 PyTorch 和 Safetensors 模型

从 PyTorch 和 Safetensors 导入模型的过程比导入 GGUF 更长，改进工作正在进行中。