使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统

已于 2024-09-03 12:14:45 修改
阅读量6.3k 收藏 38
点赞数 33
文章标签： 服务器 linux docker 笔记
于 2024-05-06 16:56:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47888212/article/details/138500721
版权

文章目录

    • 1. 下载运行Ollama
    • 2. 安装大语言模型
    • 3. 安装Cpolar工具
    • 4. 配置公网地址
    • 5. 固定公网地址
    • 6. MaxKB 添加Olama
    • 7.创建问答应用

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统,支持开箱即用,当MaxKB接入本地大语言模型的时候,限制只能使用域名才能接入,无法使用本地或者局域网IP进行设置添加本地大语言模型,本文介绍结合cpolar内网穿透工具,实现MaxKB 成功导入本地的大语言模型!

cpolar是一种安全的内网穿透服务。它能够将内网下的本地服务器通过安全隧道暴露至公网，使得公网用户可以正常访问内网服务。cpolar支持多种操作系统，包括Windows、Mac和Linux，同时支持多种协议，如TCP、UDP和HTTP等，这使得它适用于各种不同的开发和生产环境，并能够灵活地与内网设备进行通信。

下面介绍在windwos本地运行大语言模型框架Ollama,并在Ollama中下载大语言模型llama2,然后在MaxKB中导入添加该windwos运行的本地大语言模型到MaxKB中,创建属于我们自己的智能问答应用,无需公网IP,无需域名即可实现!

请添加图片描述

1. 下载运行Ollama

进入Ollama Github 界面:https://github.com/ollama/ollama?tab=readme-ov-file ,我们选择windwos版本下载

image-20240425174856953

下载后,双击进行安装,默认会安装到C盘,然后等待安装完成,安装完成后正常会自动运行,如果没有运行,可以去应用列表双击运行即可

image-20240425161045182

然后打开命令窗口,输入:ollama -v,可以看到版本信息

image-20240425161026879

同样,在浏览器输入http://127.0.0.1:11434/访问ollama服务,即可看到,运行的字样,表示本地运行成功了,下面进行安装大语言模型.

image-20240425163201117

2. 安装大语言模型

ollama安装完成后,下面进行下载运行大语言模型,本例采用llama2模型,当然还有其他模型,可以到github上面选择,命令窗口输入下面命令

ollama run llama2

然后等待安装完成即可,出现success 表示下载完成了,然后按ctrl+d 退出,

image-20240425161508422

然后再输入ollama list 即可看到下载的大语言模型列表,本例下载了两个,所以显示两个,下面我们安装cpolar内网穿透工具,实现远程也可以调用Ollama这个大语言模型框架,远程通信!

image-20240425162719276

3. 安装Cpolar工具

本例介绍的是windwos系统,所以cpolar安装在windwos上,点击下面地址访问cpolar官网，注册一个账号，然后下载并安装客户端.

Cpolar官网：https://www.cpolar.com/

  • windows系统：在官网下载安装包后，双击安装包一路默认安装即可。

cpolar安装成功后，在浏览器上访问本地9200端口【http://localhost:9200】，使用cpolar账号登录,即可看到Cpolar 管理界面,然后一切设置只需要在管理界面完成即可!

20230130105810

4. 配置公网地址

点击左侧仪表盘的隧道管理——创建隧道，创建一个ollama的公网http地址隧道!

  • 隧道名称：可自定义命名，注意不要与已有的隧道名称重复
  • 协议：选择http
  • 本地地址：11434
  • 域名类型：免费选择随机域名
  • 地区：选择China
  • host头域: 127.0.0.1:11434

点击创建(点击一次创建按钮即可,不要重复点击!)

image-20240425164541494

隧道创建成功后，点击左侧的状态——在线隧道列表,查看所生成的公网访问地址，有两种访问方式,一种是http 和https,两种都可以访问,下面选择其中一种进行远程访问

image-20240425164750350

在浏览器输入创建的公网地址,我们可以看到,同样看到了ollama 运行的字样,表示公网访问成功了!

image-20240425164932130

小结

为了更好地演示，我们在前述过程中使用了cpolar生成的隧道，其公网地址是随机生成的。

这种随机地址的优势在于建立速度快，可以立即使用。然而，它的缺点是网址由随机字符生成，不太容易记忆（例如：3ad5da5.r10.cpolar.top）。另外，这个地址在24小时内会发生随机变化，更适合于临时使用。

我一般会使用固定二级子域名，原因是我希望将网址发送给同事或客户时，它是一个固定、易记的公网地址（例如：ollama.cpolar.cn），这样更显正式，便于流交协作。

5. 固定公网地址

由于以上使用cpolar所创建的隧道使用的是随机公网地址，24小时内会随机变化，不利于长期远程访问。因此我们可以为其配置二级子域名，该地址为固定地址，不会随机变化【ps：cpolar.cn已备案】

注意需要将cpolar套餐升级至基础套餐或以上，且每个套餐对应的带宽不一样。【cpolar.cn已备案】

登录cpolar官网，点击左侧的预留，选择保留二级子域名，设置一个二级子域名名称，点击保留,保留成功后复制保留的二级子域名名称

image-20240425170206232

保留成功后复制保留成功的二级子域名的名称

image-20240425170229252

返回登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道，点击右侧的编辑

image-20240425170306512

修改隧道信息，将保留成功的二级子域名配置到隧道中

  • 域名类型：选择二级子域名
  • Sub Domain：填写保留成功的二级子域名

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20240425170340455

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址二级名称变成了我们自己设置的二级子域名名称

image-20240425170405890

下面我们打开浏览器,输入cpolar中固定的公网地址,即可看到同样是访问成功了,这样一个固定的公网访问ollama 的公网地址就设置好了,下面我们在MaxKB中添加调用我们本地模型

image-20240425170625772

6. MaxKB 添加Olama

MaxKB是一个基于大语言的问答系统,可以说是一个前端界面,支持对接多个大语言模型,具体可以可以看一下Gitee开源地址了解:https://gitee.com/aqie-project/MaxKB,成功运行MaxKB,登录进去后,点击,系统设置,选择模型设置,再选择Ollama,然后点击添加模型

image-20240425171446841

前面4个参数正常填写选择即可,模型选择llama2,目前页面没有llama3选项,我们选择2即可.然后API域名输入cpolar公网地址,注意,这里只能输入域名

image-20240425171805984

然后看下面API key参数,这里需要一个key,这个key在我们最开始运行Ollama软件的时候,在运行的日志里面可以找到

image-20240425171915578

在右下角我们可以找到运行的小图标,右键点击

image-20240425172233489

然后查看日志位置

image-20240425172519452

打开这个名称为server.log的日志文件

image-20240425172611849

在这个文件最开始,我们可以看到key的信息,注意是下面框住的这一部分是keyimage-20240425172709998

然后把key 输入到API Key 框里面

image-20240425172831464

然后点击添加即可

image-20240425172942489

最后我们可以看到成功添加了,如果在添加过程中没有llama2的大语言模型,这里也会自动下载

image-20240425173035737

7.创建问答应用

点击应用,我们创建一个问答应用,模型可以看到选择我们刚刚添加的大语言模型

image-20240425173453802

创建完成后,点击演示,进入问答页面

image-20240425173607557

然后就可以进行对话了,llama2是一个英文模型,基本的回答都是英文,当然可以自己导入设置其他模型,方式也是一样的,由于运行在windows设备,设备配置越高,响应越快,这样一个智能问答应用就设置好了!

image-20240425174156925

Ollama+MaxKB 部署本地知识库
2401_84052244的博客
08-09 5839
嵌入三方应用的需求也是比较常见的，比如你可以通过 iframe 或者 js 代码的形式嵌入到你现有的系统中，我们经常看到一些网站右下角的浮窗就是这种形式，在 MaxKB 中支持嵌入三方应用，需要在应用的 “概览” 中点击 “嵌入第三方”学习新知识，最好的方式就是直接去应用它，你可能从来都不知道什么是 RAG，但对相关知识有个大概了解后，通过实践，亲自搭建几个可以 run 起来的应用，那些架构里的结构、名词，逐渐全部都能对应得上了。我选择的是第二项，因为我的知识库数据量较小。
MaxKB结合Ollama实现本地化机器人对话和知识库检索
xuweilin的博客
07-24 822
在maxkb 管理界面中系统设置-模型设置选择ollama，基础模型选择gemma，api域名填写http://10.32.23.15:11434，apikey随便填写；浏览器访问ollama：http://localhost:3000 (需要等待WEBUI启动，并且放通了3000端口的访问规则)开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好；访问：http://localhost:8080/ui/login进入登录页面。# 密码: MaxKB@123..
干货分享｜MaxKB智能问数方案及步骤详解
最新发布
FIT2CLOUD飞致云的博客
04-28 1352
通过“MaxKB+数据库MCP Server+QuickChart MCP Server”实现智能问数。
操作教程丨MaxKB+Ollama：快速构建基于大语言模型的本地知识库问答系统
FIT2CLOUD飞致云的博客
04-18 1万+
30分钟上线基于大语言模型的知识库问答系统。
【开源项目】MaxKB+Ollama：构建私有化知识库问答系统
m0_59235245的博客
06-12 4929
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好；：支持零编码快速嵌入到第三方业务系统；：支持对接主流的大模型，包括 Ollama 本地私有大模型（如 Llama 2、Llama 3、qwen）、通义千问、OpenAI、Azure OpenAI、Kimi、智谱 AI、讯飞星火和百度千帆大模型等。
Windows环境下MaxKB大模型 Docker部署图文指南
康世行
01-26 3443
打开Docker Desktop查看容器状态、日志和资源使用情况。使用任务管理器或NVIDIA控制面板查看GPU使用情况。使用Docker Desktop查看和导出日志。
Windows搭建MaxKB开发环境
qq_34766156的博客
08-12 1428
maxkb本地开发环境搭建
【个人知识库搭建】Windows系统本地部署Ollama+MaxKB安装教程
Byyyi耀的博客
07-16 6138
【个人知识库搭建】Windows系统本地部署Ollama+MaxKB安装教程
Windows系统部署MaxKB并添加Olama搭建本地AI智能问答系统
m0_59281987的博客
08-12 2144
本文主要介绍如何在windwos环境本地运行大语言模型框架Ollama,并在Ollama中下载大语言模型llama2,然后在MaxKB中导入添加该windwos运行的本地大语言模型到MaxKB中,创建属于我们自己的智能问答应用,无需公网IP,无需域名即可实现!
linux 部署Ollama本地大模型
隔壁小红馆
09-05 1817
llama 是一个大模型的管理框架，其作用类似于 Docker：如果将每一个标准化的大模型视为“镜像”，那么 Ollama 就能够通过一行命令快速拉取并运行这些大模型。然而，Ollama 本身是基于命令行的服务，所以为了方便我们对大模型进行微调和使用，还需要引入 maxkb。maxkb 提供了一个 ChatBot 界面，它会把我们输入的结构化知识、转换成大模型可以理解的语言（即嵌入向量），从而实现有效的交互。
基于Ollama+MaxKB快速搭建企业级RAG系统
2401_83692861的博客
05-06 982
然后启动ollama的服务，注意容器内ollama的服务是在11434端口，然后我们通过。Ubuntu22系统，Docker20以上，Docker的安装参考。
【笔记】Windows 中 一键部署本地私人专属知识库：MaxKB + Docker + MaxKB docker + Ollama
nyist_yangguang的博客
05-29 3049
Docker 和容器不一样，只是容器的一种实现，是一个容器化的解决方案和平台。而容器是一种虚拟化技术，和虚拟机类似，也是一个独立的环境。可以在这个环境中运行应用程序，和虚拟机不同的是，它并不需要在容器中运行一个完整的操作系统，而是使用宿主机的操作系统，所以启动速度非常快。镜像也像一道食谱，容器就是根据这个食谱做出来的菜（可以一个或多个），但这些菜都是根据同一道食谱做出来的。实际上，我们在终端使用的各种命令，都是发送给Docker Daemon的，经过Docker Daemon处理后，返回给客户端。
使用 MaxKB 和 Ollama：手把手教你搭建本地大语言模型驱动的知识库问答系统
热门推荐
小白一枚～
11-05 1万+
本教程详细介绍如何结合 MaxKB 和 Ollama 快速搭建本地知识库问答系统，集成大语言模型，实现企业级智能问答功能，支持安全、高效的知识管理应用。
MaxKB（一）：windows10搭建maxkb开发环境（劝退指南）
core815的专栏
08-07 4901
windows10搭建maxkb开发环境
AI | 基于 MaxKB+Ollama+Llama3 手把手从0-1构建本地私有化知识库
kaka0722ww的博客
07-08 1510
随着人工智能技术的快速发展-大型语言模型（LLM），如 OpenAI 的 GPT 系列，已成为众多企业和个人关注的焦点，而 Ollama 作为一款开源的大型语言模型服务工具，正逐渐受到开发者和研究人员的关注，本文将探讨基于 MaxKB+Ollama +Llama3 如何快速零成本构建本地私有化 AI 知识库！
【亲测管用】Windows11 部署Maxkb + 本地Ollama
08-09 7863
maxkb：https://maxkb.cn/ ollama: https://ollama.com/download/windows直接install就好，默认是安装到C盘里面的。 安装好之后会显示在 直接打开cmd黑窗口，输入命令即可查看。 2.3 设置模型位置 默认安装的是C盘里面，可以设置模型的安装位置。OLLAMA_MODELS 设置好路径之后，一定要重新启动重启，才能生效。本地下载好ollam之后，通过 http://localhost:11434/ 是可以直接访问的，但有些小伙伴通过
本地部署ollama+dify
03-24
### 本地部署 Ollama 和 Dify 的方法 #### 部署 Ollama Ollama 是一种用于管理和运行大型语言模型 (LLM) 的开源工具。以下是其基本部署流程： 1. **安装 Ollama** 使用以下命令来安装 Ollama 工具链，适用于大多数 Linux 或 macOS 系统。对于 Windows 用户，则需通过 WSL 来完成操作[^1]。 ```bash curl https://ollama.ai/install.sh | sh ``` 2. **启动服务** 安装完成后，可以通过以下命令启动 Ollama 服务： ```bash ollama serve & ``` 此命令会在后台运行 Ollama API 服务器。 3. **下载模型** 下载所需的 LLM 模型至本地环境。例如，下载 `llama2` 模型可执行如下命令： ```bash ollama pull llama2 ``` 4. **测试模型接口** 测试已加载的模型是否正常工作，可通过 HTTP 请求调用 API 接口验证功能。例如，使用 `curl` 命令发送请求： ```bash curl -X POST http://localhost:11434/api/generate \ -H 'Content-Type: application/json' \ -d '{"model":"llama2","prompt":"Hello"}' ``` --- #### 部署 Dify 平台并与 Ollama 进行集成 Dify 是一款支持自定义对话应用的应用开发平台，能够轻松对接多种 LLM 提供商。以下是具体的部署过程： 1. **克隆项目仓库** 获取 Dify 开源项目的代码库，并切换到稳定分支版本： ```bash git clone https://github.com/dify-ai/dify.git cd dify git checkout stable ``` 2. **初始化依赖项** 初始化必要的 Python 虚拟环境以及安装所需依赖包： ```bash python3 -m venv .venv && source .venv/bin/activate pip install --upgrade pip setuptools wheel pip install -r requirements.txt ``` 3. **配置文件修改** 编辑 `.env.example` 文件中的参数以适配实际需求，并重命名为 `.env` 后保存更改。特别注意设置与 Ollama 对接的相关字段，如 API 地址等信息[^2]: ```plaintext OPENAI_API_BASE=http://localhost:11434 MODEL_NAME=llama2 ``` 4. **运行应用程序** 执行以下脚本启动 FastAPI Web 应用程序实例： ```bash uvicorn app.main:app --host 0.0.0.0 --port 8000 ``` 5. **实现外网访问（可选）** 如果希望外部网络也能连接到您的本地服务，推荐采用内网穿透技术。比如利用 cpolar 创建一条固定的公网隧道[^3]： ```bash ./cpolar tcp 8000 ``` 6. **绑定静态域名** 登录 Cpolar 控制面板，在线为其分配一个永久有效的二级子域名称作为入口地址。 --- ### 注意事项 - 在生产环境中建议启用 HTTPS 加密传输协议保护数据安全； - 根据硬件性能调整并发处理能力及相关资源限制策略；
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FGGIT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值