在Ollama的基础上,安装AnythingLLM搭建本地知识库

前文已经部署好了Ollama,今天我们来体验一下,安装AnythingLLM调用我们的模型,来搭建本地的知识库。

AnythingLLM 是最容易使用的一体化 AI 应用程序,可以执行 RAG、AI 代理等,而无需代码或基础设施问题。

为什么使用 AnythingLLM?

如果你希望将本地 LLM、RAG 和 AI 代理的零设置私有和一体化 AI 应用程序集中在一个地方,而无需开发人员进行繁琐的设置。

如果你需要为您的企业或组织提供一个完全可定制的私有的、多合一的 AI 应用程序,它基本上是一个具有权限的完整 ChatGPT,但具有任何 LLM、嵌入模型或矢量数据库。

那么,你可以尝试看看~~~~

1、安装AnythingLLM

AnythingLLM | The all-in-one AI application for everyonehttps://anythingllm.com/

去官网下载安装包,双击安装即可,该软件支持自定义安装路径。

2、打开软件进行相关设置

双击桌面快捷方式,开始按照向导点击 Get Started, 按向导进行相关的设置即可。

如下图,选择本地的Ollama,如果修改过端口,记得调整一下IP和端口,才能选择模型

下图为我设置的参数,供参考:

然后默认下一步,最后那步可以不填,可以跳过:

3、设置工作区名称,以及系统参数设置

3.1 进入软件,弹窗填写第一个工作区名称,可以按照你自己的习惯填写 

设置完工作区以后,进图看到如下界面:

3.2 系统参数设置

 点击左下角,小齿轮按钮,进行参数设置

3.2.1 首选项参数检查一下,就是一开始安装时填的参数是否正确

3.2.2 Embedder首选项,一定要修改为嵌入式的模型

如下图,我选择了我本地部署的bge-m3,保存更改

 

 3.2.3 外观中文显示修改

至于其他参数,大家自己按需调整即可。

设置完以后,返回:

4、工作区设置

点击左侧我的工作区边上的小齿轮按钮,找到聊天设置,如果选择本地的Ollama,并将聊天模式设置为查询,同时可以将聊天提示的信息翻译成中文来展示。 

拖到最底下,点击 更新工作区 按钮即可。 

5、添加知识库文本文件

点击我的工作区齿轮按钮坐标的上传按钮,弹出下图窗口,上传文件,选中并移动到工作区,嵌入即可。 

6、开始查询测试

 

OK,基本完成!细化的功能,就需要进一步研究了~~加油! 

### 使用 DeepSeek、OllamaAnythingLLM 构建本地知识库 #### 准备工作 为了成功构建包含 DeepSeek、OllamaAnythingLLM本地知识库,需先确认环境配置满足最低硬件需求,并完成必要的软件安装。 - **操作系统支持**:Linux, macOS 或 Windows (建议使用 WSL2)[^1]。 - **依赖项准备**:Python 3.x 版本及其开发工具链;Docker 及 Docker Compose 安装完毕并能正常运行[^2]。 #### 配置与部署 ##### 获取所需资源 通过命令行拉取最新版本的 Ollama 模型文件至本地存储: ```bash ollama pull bge-m3 ``` 此操作会下载指定的大规模预训练语言模型及相关组件,确保后续处理流程顺利进行。 ##### 初始化项目结构 创建一个新的目录用于存放整个项目的源码以及相关配置文件。在此基础上初始化 Git 仓库以便于版本控制管理。 ```bash mkdir my_local_knowledge_base && cd $_ git init . ``` ##### 设置 DeepSeek 环境变量 编辑 `.env` 文件加入如下内容以适应特定场景下的参数调整(如 API 密钥、端口映射等)。这一步骤对于保障系统的稳定性和安全性至关重要。 ```plaintext DEEPSEEK_API_KEY=your_api_key_here PORT=8080 DEBUG=True ``` ##### 整合 AnythingLLM 平台 利用 AnythingLLM 提供的功能接口快速对接各类外部数据源,包括但不限于静态 HTML 页面、PDF 文档集或是关系型数据库表单记录。具体实现方式可参照官方文档说明中的 Python SDK 应用实例。 ```python from anythingllm import DocumentLoader, KnowledgeBaseBuilder loader = DocumentLoader(source="path/to/your/documents") builder = KnowledgeBaseBuilder(loader) knowledge_base = builder.build() ``` #### 启动服务 一切就绪之后,在终端执行启动脚本来激活全部微服务单元,使之协同运作形成完整的解决方案栈。 ```bash docker-compose up -d --build ``` 此时访问 `http://localhost:8080` 即可见证由 DeepSeek 加持的人工智能驱动的知识检索界面雏形初现。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值