如何用Ollama在本地构建大语言模型？

目录：
1. 下载 Ollma 安装文件
2. 安装 Ollama
3. (可选)环境变量
4. 使用 Ollama
5. (可选)修改默认模型

Ollama是一个开源框架，设计用于在本地轻松部署和运行大型语言模型（LLMs）。这个工具简化了原本复杂的过程，使得开发者和研究人员能够在自己的机器上直接利用强大的语言模型，而不需要依赖云服务。Ollama支持多种知名的大规模语言模型，如Llama 3、Qwen、Mistral、Gemma等，且持续更新以兼容最新的模型版本。Ollama不仅支持Linux和macOS，还发布了对Windows平台的预览版，这意味着更多用户可以在自己的操作系统上运行这些模型。

我试着运行Llama 3 一下，模型的下载速度非常快，推理速度和推理效果很棒。

1. 下载 Ollma 安装文件
访问 https://ollama.com/download，根据本地机器的系统选择对应的安装版本。我这里选择 Windows，单击 “Download for Windows (Preview)” 进行下载。

2. 安装 Ollama
双击下载的 “OllamaSetup.exe”，直接安装就可以了。

3. (可选)环境变量
Ollama 下载的模型模型保存在 C 盘，如果想更改默认路径的话，可以通过增加系统环境变量 OLLAMA_MODELS。

OLLAMA_MODELS：D:\OllamaModels
还有，Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认只可以通过 localhost 进行访问，如果想公开访问的话，可以通过设置 OLLAMA_HOST 进行修改。

4. 使用 Ollama
访问 https://ollama.com/library，搜索你要使用的模型，主流的模型，比如 llama3、qwen1.5、mixtral 等，Ollama都支持。

我这里以 llama3 为例，我们要运行 8b 的模型，

打开Windows终端，输入命令：ollama run llama3 运行，Ollama将自动下载llama3:8b模型，完成后进入终端命令行问答模式，你可以直接在上面问问题啦！

5. (可选)修改默认模型
Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认模型名是 run 后面使用的模型名，如果想使用 OpenAI 的模型名，可以通过ollama cp的方式，为模型起一个临时的名称。

例如，

ollama cp mixtral:8x7b-instruct-v0.1-fp16 gpt-4
ollama run gpt-4