本地部署ollama+chatbox

目录

前言

一、安装Ollama

二、加载模型

三、部署chatbox

---

---

前言

Ollama是一个开源的机器学习模型部署工具，Chatbox是一个用于网站或应用程序的交互式对话框组件，通常用于与用户进行实时的文本交流。本文章介绍如何通过本地部署Ollama以及Chatbox实现与本地模型的实时交互。

一、安装Ollama

        在ollama官网（https://ollama.com/download）下载对应操作系统的安装版本，本文以windows为例。

        安装后在CMD命令窗口验证是否安装

二、加载模型

        在加载模型之前，需要回想下ollama的安装目录，默认安装在C盘，显然加载的模型默认必然也在C盘，这时需要指定下模型下载目录，避免C盘遭殃。

        这里采取配置环境变量的方法指定模型下载目录（D:\Ollama\Models），配置详情见下图，在用户变量表中新建变量名为OLLAMA_MODELS，值为模型下载的路径。

        接下来加载模型，可以通过ollama官网查看可供加载的模型列表，本文介绍部署deepseek-r1:1.5b版本。将官网提供的命令复制到CMD窗口运行。

三、部署chatbox

        1.通过chatbox官网（https://chatboxai.app/zh）下载安装，这里没坑，直接运行。

        2.这时在CMD窗户输入命令启动ollama服务，可以发现服务端口在11434

ollama serve

注意：运行此命令时可能会导致ollama重复运行冲突，需要检查机器上是否已有ollama程序运行。

        3. 配置chatbox

        在chatbox设置界面，模型提供方选择【OLLAMA API】，API域名默认填充，可以发现这里的端口正是OLLAMA的服务端口，下方的模型会自动关联到新加载的模型名称。

测试一下：