Ollama 部署本地大模型

目录

前言

下载安装

下载模型

接口调用

环境变量

其他模型

---

前言

工作需要，被指派对大模型做技术调研，又不想花钱买各大产商的key，所以就考虑部署本地的大模型，了解到 Ollama 开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。便在自己电脑上安装了，记录下安装以及使用过程。

下载安装

ollama 官网：

https://ollama.com/https://ollama.com/

下载完成后双击 exe 文件，无脑下一步就行了

完成安装后，打开命令行，执行命令：

ollama --version

下载模型

官网中的 Models 页面可以查找 ollama 默认支持的模型

这里演示拉取国内的开源模型 qwen2

若本地不存在，则会自动下载，然后运行

ollama run qwen2

若想直接拉取模型，可以使用 pull

ollama pull qwen2 

运行界面

接口调用

除了使用命令行与大模型对话，还可以使用接口调用的方式来与大模型交互，在实际使用中一般都是通过应用程序通过接口来调用大模型

API文档：

ollama/docs/api.md at main · ollama/ollama · GitHubGet up and running with Llama 3.1, Mistral, Gemma 2, and other large language models. - ollama/docs/api.md at main · ollama/ollamahttps://github.com/ollama/ollama/blob/main/docs/api.md这里简单演示调用简单的生成文本接口

url：
http://localhost:11434/api/generate

body：

{

  "model": "qwen2",

  "prompt": "为什么我的眼里常含泪水"

}

环境变量

本地部署大模型，默认配置下，只能在本地机器下访问，但是实际开发中很多时候本地模型和应用程序时部署在不同的服务器上的，所以要修改相关的配置，使得外部机器能够访问

查看环境变量

ollama serve --help

默认是 127.0.0.1:11434，修改成 :11434 即可实现全ip访问

其他模型

除了官方默认支持的模型，还可以去下载其他模型，然后使用 ollama 工具来启动

可以在 huggingface 上下载一些开源的大模型（GGUF格式）

https://huggingface.co/https://huggingface.co/创建Modelfile 文件，然后写入下载的 gguf 模型文件地址（以下使用是相对地址）

FROM ./下载的模型.gguf

使用新建的 Modelfile 来创建模型

ollama create example -f Modelfile

运行

ollama run example