Ollama 使用指南

1、简介

        Ollama是一个开源的大型语言模型服务工具，它能帮助用户快速在本地运行大模型。通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，如Llama 2。Ollama极大地简化了在Docker容器内部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。

1. 功能齐全：Ollama将模型权重、配置和数据捆绑到一个包中，定义成Modelfile。它优化了设置和配置细节，包括GPU使用情况，从而提高了模型运行的效率。
2. 轻量级：Ollama的代码简洁明了，运行时占用资源少。这使得它能够在本地高效地运行，不需要大量的计算资源。此外，它还支持热加载模型文件，无需重新启动即可切换不同的模型，这使得它非常灵活多变。
3. 易用性：Ollama提供了多种安装方式，支持Mac和Linux平台，并提供了Docker镜像。用户只需按照安装指南进行操作即可完成安装，无需具备专业的技术背景。

2、安装Ollama

        Ollama 支持多平台部署，可以在官网，选择适合的平台，下载对应的安装包。

        当然也可以选择在项目的 GitHub 的 Releases页面进行下载。

        同时，该项目还支持 docker 一键部署，使用Docker通过 docker pull ollama/ollama命令拉取即可。可以说在部署方面，只需要有比较简单的运维基础就可以在你当下的平台中部署起来。

3、模型库

        Ollama 支持在 ollama.com/library 上获取的模型列表，以下是一些可下载的示例模型：

Model	Parameters	Size	Download
Llama 3	8B	4.7GB	ollama run llama3
Llama 3	70B	40GB	ollama run llama3:70b
Mistral	7B	4.1GB	ollama run mistral
Dolphin Phi	2.7B	1.6GB	ollama run dolphin-phi
Phi-2	2.7B	1.7GB	ollama run phi
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
Llama 2 13B	13B	7.3GB	ollama run llama2:13b
Llama 2 70B	70B	39GB	ollama run llama2:70b
Orca Mini	3B	1.9GB	ollama run orca-mini
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b
Solar	10.7B	6.1GB	ollama run solar

注意：运行 7B 模型至少需要 8 GB 的 RAM，运行 13B 模型需要 16 GB，运行 33B 模型需要 32 GB。

4、ollama的库

        Ollama主要支持Python和JavaScript两种编程语言的库，分别是ollama-python和ollama-js，这两个库将会使ollama使用得更加方便和高效。

1、ollama-pytho

        ollama-python库提供一个Python接口来与ollama交互，使得Python开发者可以轻松在自己的项目中集成和运行大模型，使用pip命令安装：pip install ollama-pytho

安装后，可以通过几行简单的代码来运行模型，比如：

import ollama

# 运行模型
response = ollama.run('llama3', 'hello')
print(response)

2、ollama-js

        对于JavaScript开发者，ollama-js库同样提供了一个易于使用的接口。可以通过npm或yarn来安装这个库：

npm install ollama-js
# 或者
yarn add ollama-js

安装完成后，可以在Node.js项目中直接调用ollama：

const ollama = require('ollama-js');

// 运行
ollama.run('llama3','hello world!',response=>{
  console.log(response);
}

通过这些库，ollama极大简化了不同语言项目使用大模型的过程。

5、Ollama使用

5.1 模型运行

        打开CMD命令终端，输入指令ollama run model_name，model_name为你要运行的模型。若是首次运行某个模型，ollama首先会下载对应的模型文件，然后运行模型。

ollama run llama3
ollama run llama3:70b
ollama run phi
ollama run qwen2
......

        这里有个点需要提一下，那就是默认情况下模型存储位置，这对于管理和备份模型至关重要。

• Linux：/var/lib/ollama/models
• Windows：C:\Users\<用户名>\.ollama\models
• macOS：/Library/Application Support/Ollama/models

        可以看到Windows中默认路径在C盘，而本地部署下载的模型最小可能都有几个G，如果多下载几个模型，C盘可能就被挤爆了，因此最好在下载模型之前就更改默认存储路径，步骤如下：

• 右键点击“此电脑”或“计算机”，选择“属性”；
• 点击“高级系统设置”，在弹出的窗口中点击“环境变量”按钮；
• 在“系统变量”，点击“新建”来创建一个新的环境变量
• 输入变量名OLLAMA_MODELS和你选择的目录路径（例如D:\OllamaModels）；
• 设置完环境变量后，需要重启Ollama以使更改生效。为确保更改生效，建议重启电脑。

5.2 模型管理

ollama 安装之后，与模型交互就是通过命令来进行的。

• ollama list：显示模型列表；
• ollama show：显示模型的信息；
• ollama pull：拉取模型；此命令也可以用于更新本地模型，只会拉取差异部分。
• ollama push：推送模型；
• ollama cp：拷贝一个模型；
• ollama rm：删除一个模型；
• ollama run：运行一个模型；
• ollama start 启动服务；
• ollama serve 在不运行桌面应用程序的情况下启动 ollama；
• ollama models 查看模型列表；
• ollama model details [模型名称] 获取更详细的模型信息，包括模型的描述、版本、大小等；
• ollama models 查看模型列表

5.2 模型自定义

        ollama不仅支持运行预构建的模型，还提供了灵活的工具来导入和自定义自己的模型，无论是从GGUF、Pytorch或Safetensors格式导入还是进行模型的个性化设置，ollama都能满足需求。

5.2.1 从GGUF导入模型

创建一个名为Modelfile的文件，并在其中指定要导入的模型路径：

FROM ./yourself-model.gguf

然后，使用下面的命令来创建模型：

ollama create yourself-model -name -f Modelfile

最后，通过运行一下命令来启动模型：

ollama run yourself-model -name

5.2.2 从PyTorch导入模型

1. 准备PyTorch模型：确保你有PyTorch格式的模型文件。
2. 转换模型：如果需要，使用工具将PyTorch模型转换为Ollama支持的格式。
3. 导入模型：按照Ollama的指导，将转换后的模型导入到Ollama中。

5.2.3 从Safetensors导入模型

1. 准备Safetensors文件：获取Safetensors格式的模型文件。
2. 创建Modelfile：在Ollama中创建一个Modelfile，指定Safetensors文件的路径。
3. 导入模型：使用Ollama的命令或界面功能导入Safetensors文件。

5.2.4 自定义提示

此外，还可以通过自定义提示来调整模型的行为。步骤如下：

1. 拉取想要定制的模型

ollama pull qwen

1. 创建Modelfile，在其中设置参数和系统消息

FROM qwen
# 设置温度参数
PARAMETER temperature 1
# 设置系统消息
SYSTEM """
你是一名教师，以教师的角度分析问题
"""

1. 创建并运行定制模型

ollama create myself-llama3 -f Modelfile
ollama run myself-llama3

这样就能按照自己需求定制模型，满足个性化的需求。