可建立本地知识库的大语言模型交互工具

本文将介绍一个能建立本地知识库的大语言模型交互工具，利用该工具，可以将本地自有资料投入到工具框架内供大模型参考调用，允许用户完全私有化部署和定制自己的 AI 助手，支持文档问答、知识库管理功能。

AnythingLLM 提供简洁的 Web UI，支持多用户管理和对话历史记录。 既可以通过 Ollama、LM Studio 等运行开源模型（如 Llama3、Mistral）， 也可以通过API Key对接 DeepSeek、OpenAI、Anthropic 等在线商业服务。

其核心模块是加载使用本地知识库功能，具备解析上传文件（如 Excel、Word、PDF 提取文本），使用文本嵌入模型（如 sentence-transformers）生成向量。该功能尤其适合快速查询手册、合同等文档，以及论文和数据的私有化处理。

首先需要下载安装软件

根据提示选择合适的设置

运行AnythingLLM

首先需要选择使用的语言模型，可以选择开源模型下载到本地，也可以选择通过API Key对接在线服务商业模型。

在这里本文范例选择了DEEPSEEK的在线服务，通过官网进入API开放平台，获取API Key

将API Key填进后可以选择DeepSeek- chat或者DeepSeek-rensoner.

默认设置好了，开始到对话工作区

给工作区取名，可以根据需要随意取名，这个名称只是标记你的对话空间。然后就可以开始对话了：

下面介绍的是AnythingLLM软件的个性化功能：本地知识库的使用。

在对话界面点击下图红框标识的按钮

弹出下面的界面

点击 Click to upload or drag and drop

在复选框内选择你准备的资料，将资料从My documents MOVE 至工作区内，点击 Save and Embed, 加载完成后在工作区内选择Pinned。需要说明的是， 该操作的所有任务都是针对本地的， 资料不会离开本地计算机。操作完成后退回到对话界面，再次进行对话时， 大模型对问题的回答将参考所提供的资料。

从提示中可以看出，大模型在回答问题时已经参考了所提供的资料数据

通过打开文件核对，所提供的答案确实是完全引用了表格中的数据。

对于用户所持有的资料比较敏感和私密的情况下，可以在选择大模型时可以选择能在本地运行的开源模型， 所有工作在不依赖网络的情况下完成。