“AI LLM利器Ollama：架构详解与对话处理流程解析“

最新推荐文章于 2025-03-25 11:14:16 发布

大模型入门教程

最新推荐文章于 2025-03-25 11:14:16 发布

阅读量1.1k

点赞数 14

文章标签：人工智能架构大模型学习大模型教程大模型入门大模型

本文链接：https://blog.csdn.net/2401_85343303/article/details/143660010

版权

Ollama 概述

Ollama 是一个快速运行 LLM（Large Language Models，大语言模型）的简便工具。通过 Ollama，用户无需复杂的环境配置，即可轻松与大语言模型对话互动。

本文将解析 Ollama 的整体架构，并详细讲解用户在与 Ollama 进行对话时的具体处理流程。

Ollama 整体架构

在这里插入图片描述

Ollama 使用了经典的 CS（Client-Server）架构，其中：

Client 通过命令行的方式与用户交互。
Server 可以通过命令行、桌面应用（基于 Electron 框架）、Docker 其中一种方式启动。无论启动方式如何，最终都调用同一个可执行文件。
Client 与 Server 之间使用 HTTP 进行通信。

Ollama Server 有两个核心部分：

ollama-http-server：负责与客户端进行交互。
llama.cpp：作为 LLM 推理引擎，负责加载并运行大语言模型，处理推理请求并返回结果。
ollama-http-server 与 llama.cpp 之间也是通过 HTTP 进行交互。

说明：llama.cpp 是一个独立的开源项目，具备跨平台和硬件友好性，可以在没有 GPU、甚至是树莓派等设备上运行。

Ollama 存储结构

Ollama 本地存储默认使用的文件夹路径为 $HOME/.ollama，文件结构如下图所示：

在这里插入图片描述

文件可分为三类：

日志文件：包括记录了用户对话输入的 history 文件，以及 logs/server.log 服务端日志文件。
密钥文件：id_ed25519 私钥和 id_ed25519.pub 公钥。
模型文件：包括 blobs 原始数据文件，以及 manifests 元数据文件。

元数据文件，例如图中的 models/manifests/registry.ollama.ai/library/llama3.2/latest 文件内容为：

在这里插入图片描述

如上图所示，manifests 文件是 JSON 格式，文件内容借鉴了云原生和容器领域中的 OCI spec 规范，manifests 中的 digest 字段与 blobs 相对应。

Ollama 对话处理流程

用户与 Ollama 进行对话的大致流程如下图所示：

在这里插入图片描述

用户通过 CLI 命令行执行 ollama run llama3.2 开启对话（llama3.2 是一种开源的大语言模型，你也可以使用其它 LLM）。
准备阶段：
- CLI 客户端向 ollama-http-server 发起 HTTP 请求，获取模型信息，后者会尝试读取本地的 manifests 元数据文件，如果不存在，则响应 404 not found。
- 当模型不存在时，CLI 客户端会向 ollama-http-server 发起拉取模型的请求，后者会去远程存储仓库下载模型到本地。
- CLI 再次请求获取模型信息。
交互式对话阶段：
- CLI 先向 ollama-http-server 发起一个空消息的 /api/generate 请求，server 会先在内部进行一些 channel（go 语言中的通道）处理。
- 如果模型信息中包含有 messages，则打印出来。用户可以基于当前使用的模型和 session 对话记录保存为一个新的模型，而对话记录就会被保存为 messages。
- 正式进入对话：CLI 调用 /api/chat 接口请求 ollama-http-server，而 ollama-http-server 需要依赖 llama.cpp 引擎加载模型并执行推理（llama.cpp 也是以 HTTP server 的方式提供服务）。此时，ollama-http-server 会先向 llama.cpp 发起 /health 请求，确认后者的健康状况，然后再发起 /completion 请求，得到对话响应，并最终返回给 CLI 显示出来。

通过上述步骤，Ollama 完成了用户与大语言模型的交互对话。

总结

Ollama 通过集成 llama.cpp 推理引擎，并进一步封装，将复杂的 LLM 技术变得触手可及，为开发者和技术人员提供了一个高效且灵活的工具，很好地助力了各种应用场景下的大语言模型推理与交互。

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述