Ollama 部署和实战，本地部署大模型？非常详细收藏我这一篇就够了！

写在前面

前几篇，分享的都是如何白嫖国内外各大厂商的免费大模型服务~

有小伙伴问，如果我想在本地搞个大模型玩玩，有什么解决方案？

Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。

也许是目前最便捷的大模型部署和运行工具，配合Open WebUI，人人都可以拥有大模型自由。

今天，就带着大家实操一番，从 0 到 1 玩转 Ollama。

1. 部署

1.1 Mac & Windows

相对简单，根据你电脑的不同操作系统，下载对应的客户端软件，并安装：

• macOS：https://ollama.com/download/Ollama-darwin.zip

• Windows：https://ollama.com/download/OllamaSetup.exe

1.2 Linux

推荐大家使用 Linux 服务器进行部署，毕竟大模型的对机器配置还是有一定要求。

裸机部署

step 1: 下载 & 安装

命令行一键下载和安装：

curl -fsSL https://ollama.com/install.sh | sh   

如果没有报错，它会提示你 ollama 的默认配置文件地址：

Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.   

接下来，我们采用如下命令查看下服务状态， running 就没问题了：

systemctl status ollama   

查看是否安装成功，出现版本号说明安装成功：

ollama -v   

step 2: 服务启动

浏览器中打开：http://your_ip:11434/，如果出现 Ollama is running，说明服务已经成功运行。

**step 3: 修改配置（可选）**如果有个性化需求，需要修改默认配置：

配置文件在：/etc/systemd/system/ollama.service，采用任意编辑器打开，推荐 vim

1. 默认只能本地访问，如果需要局域网内其他机器也能访问（比如嵌入式设别要访问本地电脑），需要对 HOST 进行配置，开启监听任何来源IP

[Service]   Environment="OLLAMA_HOST=0.0.0.0"   

2. 如果需要更改模型存放位置，方便管理，需要对 OLLAMA_MODELS 进行配置：

[Service]   Environment="OLLAMA_MODELS=/data/ollama/models"   

不同操作系统，模型默认存放在：

macOS: ~/.ollama/models   Linux: /usr/share/ollama/.ollama/models   Windows: C:\Users\xxx\.ollama\models   

3. 如果有多张 GPU，可以对 CUDA_VISIBLE_DEVICES 配置，指定运行的 GPU，默认使用多卡。

Environment="CUDA_VISIBLE_DEVICES=0,1"   

4.配置修改后，需要重启 ollama

systemctl daemon-reload   systemctl restart ollama   

注意：上面两条指令通常需要同时使用：只要你修改了任意服务的配置文件（如 .service 文件），都需要运行systemctl daemon-reload使更改生效。

Docker 部署

我们也介绍下 Docker 部署，无需配置各种环境，相对小白来说，更加友好。

step 1: 一键安装

如果是一台没有 GPU 的轻量级服务器：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama   

简单介绍下这个命令的参数：

• docker run：用于创建并启动一个新的 Docker 容器。

• -d：表示以分离模式（后台）运行容器。

• -v ollama:/root/.ollama：将宿主机上的 ollama 目录挂载到容器内的 /root/.ollama 目录，便于数据持久化。

• -p 11434:11434：将宿主机的 11434 端口映射到容器的 11434 端口，使外部可以访问容器服务。

• –name ollama：为新创建的容器指定一个名称为 ollama，便于后续管理。

• –restart always：容器在退出时自动重启，无论是因为错误还是手动停止。

• ollama/ollama：指定要使用的 Docker 镜像，这里是 ollama 镜像。

宿主机上的数据卷 volume 通常在 /var/lib/docker/volumes/，可以采用如下命令进行查看：

[root@instance-20240702-1632 ~]# docker volume ls   DRIVER    VOLUME NAME   local     dockers_postgres-data   local     ollama   local     open-webui   [root@instance-20240702-1632 ~]# ls /var/lib/docker/volumes/   backingFsBlockDev  dockers_postgres-data  metadata.db  ollama  open-webui   

如果拥有 Nvidia-GPU：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama   

安装成功后，注意要给服务器打开 11434 端口的防火墙，然后浏览器打开 http://your_ip:11434/，如果出现 Ollama is running，说明服务已经成功运行。

step 2: 进入容器

如何进入容器中执行指令呢？

docker exec -it ollama /bin/bash   

参数说明：

• exec：在运行中的容器中执行命令。

• -it：表示以交互模式运行，并分配一个伪终端。

• ollama：容器的名称。

• /bin/bash：要执行的命令，这里是打开一个 Bash shell。

执行后，你将进入容器的命令行，和你本地机器上使用没有任何区别。

如果不想进入容器，当然也可以参考如下指令，一键运行容器中的模型：

docker exec -it ollama ollama run qwen2:0.5b   

如果一段时间内没有请求，模型会自动下线。

2. 使用

2.1 Ollama 常用命令

Ollama 都有哪些指令？

终端输入 ollama：

Usage:     ollama [flags]     ollama [command]      Available Commands:     serve       Start ollama     create      Create a model from a Modelfile     show        Show information for a model     run         Run a model     pull        Pull a model from a registry     push        Push a model to a registry     list        List models     ps          List running models     cp          Copy a model     rm          Remove a model     help        Help about any command      Flags:     -h, --help      help for ollama     -v, --version   Show version information      Use "ollama [command] --help" for more information about a command.   

我们翻译过来，和 docker 命令非常类似：

ollama serve # 启动ollama   ollama create # 从模型文件创建模型   ollama show  # 显示模型信息   ollama run  # 运行模型，会先自动下载模型   ollama pull  # 从注册仓库中拉取模型   ollama push  # 将模型推送到注册仓库   ollama list  # 列出已下载模型   ollama ps  # 列出正在运行的模型   ollama cp  # 复制模型   ollama rm  # 删除模型   

2.2 Ollama 模型库

类似 Docker 托管镜像的 Docker Hub，Ollama 也有个 Library 托管支持的大模型。

传送门：https://ollama.com/library

从0.5B 到 236B，各种模型应有尽有，大家可以根据自己的机器配置，选用合适的模型。

同时，官方也贴心地给出了不同 RAM 推荐的模型大小，以及命令：

注：至少确保，8GB的 RAM 用于运行 7B 模型，16GB 用于运行 13B 模型，32GB 用于运行 33B 模型。这些模型需经过量化。

因为我的是一台没有 GPU 的轻量级服务器，所以跑一个 0.5B 的 qwen 模型，给大家做下演示：

root@535ec4243693:/# ollama run qwen2:0.5b   pulling manifest    pulling 8de95da68dc4... 100% ▕████████████████████████████████████▏ 352 MB                            pulling 62fbfd9ed093... 100% ▕████████████████████████████████████▏  182 B                            pulling c156170b718e... 100% ▕████████████████████████████████████▏  11 KB                            pulling f02dd72bb242... 100% ▕████████████████████████████████████▏   59 B                            pulling 2184ab82477b... 100% ▕████████████████████████████████████▏  488 B                            verifying sha256 digest    writing manifest    removing any unused layers    success    >>> 你是谁   我是来自阿里云的超大规模语言模型——通义千问。我能够理解、生产、传播各种语言和文字，可以回答您在任   何语言或任何问题的问题。      >>> Send a message (/? for help)   

2.3 自定义模型

如果要使用的模型不在 Ollama 模型库怎么办？

GGUF (GPT-Generated Unified Format)模型

GGUF 是由 llama.cpp 定义的一种高效存储和交换大模型预训练结果的二进制格式。

Ollama 支持采用 Modelfile 文件中导入 GGUF 模型。

下面我们以本地的 llama3 举例，详细介绍下实操流程：

step 1: 新建一个文件名为 Modelfile 的文件，然后在其中指定 llama3 模型路径：

FROM /root/models/xxx/Llama3-FP16.gguf   

step 2: 创建模型

ollama create llama3 -f Modelfile   

step 3: 运行模型

ollama run llama3   

终端出现 >>，开启和 Ollama 的对话旅程吧~

下面是几个常用案例：

• 多行输入：用"""包裹

>>> """Hello,   ... world!   ... """   I'm a basic program that prints the famous "Hello, world!" message to the console.   

• 多模态模型：文本 + 图片地址

>>> What's in this image? /Users/jmorgan/Desktop/smile.png   The image features a yellow smiley face, which is likely the central focus of the picture.   

• 将提示作为参数传递

`$ ollama run llama3 "Summarize this file: $(cat README.md)"    Ollama is a lightweight, extensible framework for building and running language models on the local machine.` 

PyTorch or Safetensors 模型

Ollama 本身不支持 PyTorch or Safetensors 类型，不过可以通过 llama.cpp 进行转换、量化处理成 GGUF 格式，然后再给 Ollama 使用。

关于 llama.cpp 的使用，小伙伴可以前往官方仓库：https://github.com/ggerganov/llama.cpp。下载后需要编译使用，成功后会在目录下生成三个可执行文件：

main：模型推理   quantize：模型量化，包括1.5位、2位、3位、4位、5位、6位和8位整数量化   server：提供模型API服务   

不过我们只能需要用到它的模型转换功能，还是以 llama3 举例：首先安装项目依赖，然后调用 convert.py 实现模型转换：

pip install -r requirements.txt   python convert.py  /root/xxx/Llama3-Chinese-8B-Instruct/ --outtype f16 --vocab-type bpe --outfile ./models/Llama3-FP16.gguf   

提示词实现模型定制

刚才我们介绍了 Modelfile，其中我们还可以自定义提示词，实现更个性化的智能体。

假设现在你从模型库下载了一个 llama3:

ollama pull llama3   

然后我们新建一个 Modelfile，其中输入：

FROM llama3      # 设置温度参数   PARAMETER temperature 0.7      # 设置SYSTEM 消息   SYSTEM """   你是猴哥的 AI 智能助手，将基于猴哥发表的所有文章内容回答问题，拒绝回答任何无关内容。   """   

Ollama 实现模型量化

Ollama 原生支持 FP16 or FP32 模型的进一步量化，支持的量化方法包括：

Q4_0 Q4_1 Q5_0 Q5_1 Q8_0      K-means Quantizations：   Q3_K_S Q3_K_M Q3_K_L Q4_K_S Q4_K_M Q5_K_S Q5_K_M Q6_K   

在编写好 Modelfile 文件后，创建模型时加入 -q 标志：

FROM /path/to/my/gemma/f16/model   

ollama create -q Q4_K_M mymodel -f Modelfile   

2.3 API 服务

除了本地运行模型以外，还可以把模型部署成 API 服务。

执行下述指令，可以一键启动 REST API 服务：

ollama serve   

下面介绍两个常用示例：

1、生成回复

curl http://129.150.63.xxx:11434/api/generate -d '{     "model": "qwen2:0.5b",     "prompt":"Why is the sky blue?",     "stream":false   }'   

2、模型对话

curl http://localhost:11434/api/chat -d '{     "model": "qwen2:0.5b",     "messages": [       { "role": "user", "content": "why is the sky blue?" }     ],     "stream":false   }'   

更多参数和使用，可参考 API 文档：https://github.com/ollama/ollama/blob/main/docs/api.md

2.4 OneAPI 集成

前段时间，我们已经完成了 OneAPI 的部署，见：OneAPI-接口管理和分发神器，将所有大模型一键封装成OpenAI协议

OneAPI 也支持 Ollama 模型，我们只需在 OneAPI 中为 Ollama 添加一个渠道。

创建好之后，点击 测试 一下，右上角出现提示，说明已经配置成功，接下来就可以采用 OpenAI 的方式调用了。

2.5 Open WebUI 界面搭建

Open WebUI 是一个可扩展的自托管 WebUI，前身就是 Ollama WebUI，为 Ollama 提供一个可视化界面，可以完全离线运行，支持 Ollama 和兼容 OpenAI 的 API。

🚀 一键直达：https://github.com/open-webui/open-webui

Open WebUI 部署

我们直接采用 docker 部署 Open WebUI：

因为我们已经部署了 Ollama，故采用如下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main   

其中：--add-host=host.docker.internal:host-gateway 是为了添加一个主机名映射，将 host.docker.internal 指向宿主机的网关，方便容器访问宿主机服务

假设你之前没有安装过 Ollama，也可以采用如下镜像（打包安装Ollama + Open WebUI）：

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama   

Open WebUI 使用

在打开主机 3000 端口的防火墙之后，浏览器中输入：http://your_ip:3000/，注册一个账号：

可以发现界面和 ChatGPT 一样简洁美观，首先需要选择一个模型，由于我们只部署了 qwen2:0.5b，于是先用它试试：

右上角这里可以设置系统提示词，以及模型参数等等：

在个人设置这里，可以看到内置的 TTS 服务：

管理员面板这里，有更多探索性功能，比如图像生成，如果你部署了 StableDiffusion，这里同样支持调用：

不得不说，Open WebUI 的功能真的非常强大，更多功能可参考官方文档：https://docs.openwebui.com/

感兴趣的小伙伴赶紧去试试吧~

3. 文末福利

相信看到这里的你，已经基本可以玩转 Ollama 了。

只不过觉得上述流程略显麻烦？

没问题，你的困惑早有人帮你搞定了，GitHub 上有开发者做了 docker-compose 一键整合安装包：

传送门：https://github.com/valiantlynx/ollama-docker

你只需要一行命令：

docker-compose up -d   

就能一键启动 Ollama + Open WebUI~

启动成功后，注意看一下不同容器的端口号：

docker ps   

接下来的操作，和前两部分一致，快去愉快玩耍吧~

写在最后

至此，我们一起走完了 Ollama 的部署和实战流程。

在我看来，Ollama 也许是目前最便捷的大模型部署和使用工具，对小白非常友好。

简单的命令行操作，用户即可快速启动和管理模型，极大降低了技术门槛，用户可以专注于模型的应用，而无需关注底层技术细节。此外，Ollama 的离线运行也为数据安全提供了保障。

期待大家在使用 Ollama 的过程中，发现更多有趣的 AI 应用场景。让我们一起推动大模型技术的应用落地，探索更广阔的可能性！

如果本文对你有帮助，欢迎点赞收藏备用！你的支持是我创作的最大动力。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓