Windows环境下安装和使用Ollama

Ollama简介

Ollama 是一个用于在本地运行大型语言模型（LLM）的开源框架。具有以下特点：

• 简化部署：利用 Docker 容器技术简化 LLM 的部署过程，用户只需执行简单命令，即可在本地计算机上部署和管理模型，无需深入了解底层复杂性。
• 捆绑模型组件：将模型权重、配置和数据捆绑到一个名为 Modelfile 的包中，优化设置和配置细节，包括 GPU 使用情况，方便用户管理和切换不同模型。
• 支持多种模型：支持 Llama 2、Code Llama、Mistral、Gemma 等多种大型语言模型，并允许用户根据特定需求定制和创建自己的模型。
• 跨平台支持：支持 macOS、Linux 平台，Windows 平台的预览版也已发布。
• 命令行操作便捷：安装完成后，用户通过简单的命令行操作即可启动和运行大型语言模型，如执行ollama run gemma:2b可运行 Gemma 2B 模型 。
• 资源要求明确：对不同规模的模型有明确的资源要求，如至少需要 8GB 的内存 / 显存来运行 7B 模型，16GB 运行 13B 模型，32GB 运行 34B 模型。
• 轻量级且可扩展：代码简洁明了，运行时占用资源少，同时支持多种模型架构，可扩展以支持新的模型，还支持热加载模型文件，无需重新启动即可切换不同的模型。

（以上是“豆包”AI生成的对Ollama的介绍。）

Ollama并不是一个像ChatGPT或Llama这样的大语言模型（LLMs），它被称作本地模型供应者（local model provider），类似的还有Llamafile, Jan, 以及LM Studio等。Ollama是一个在本地电脑上搭建和运行大语言模型的轻量、可扩展的框架。它提供了用来创建、运行和管理模型的API，以及一个包含多个预建构模型的库，让用户可以在不同应用上使用这些模型。

注意：Ollama中的模型是预建构模型（pre-built models），跟大语言模型相比，它们没有收集数据，但可以用来搭建和训练。

安装

在Ollama官网可以直接免费下载对应操作系统的安装包，但是国内下载速度很慢。也可以通过Docker下载安装。

如果需要Windows版的安装包可以私信我免费领取。

下载完成后可以直接双击安装包安装，但是这样会直接安装到C盘，且无法更改安装路径。

自定义安装路径

由于后面下载大模型会占用很多空间，所以建议自定义安装路径。
可以在Windows终端中输入以下命令来自定义安装路径：

 # .\OllamaSetup.exe为安装包文件所在路径
 # D:\Ollama为安装的目标路径
.\OllamaSetup.exe /DIR="D:\Ollama"

自定义模型储存路径

除了更改Ollama的安装路径，也建议更改通过Ollama下载的模型的储存路径：
在用户环境变量中添加一个OLLAM_MODELS环境变量来定义模型的储存位置，变量值即为指定的模型储存路径：