DeepSeek + Ollama + AnythingLLM实现本地化部署和构建自己的知识库

安装配置步骤：

一、安装Ollama

二、下载DeepSeek模型

三、安装AnythingLLM并配置

（鉴于很多朋友无法下载ollama和anythingllm，这里给大家整理好了安装包，扫描领取即可↓↓↓↓）

一、安装Ollama

1. Ollama简介

  Ollama 是一个开源项目，旨在简化和优化使用大型语言模型（LLM）的体验。它为开发者提供了一个用户友好的界面和工具，使他们能够快速地下载、运行和与各种预训练的模型进行交互。Ollama 的核心目标是降低使用复杂大型语言模型的门槛，无论是用于个人项目、研究还是产品开发。它相当于一个“本地版ChatGPT”，但完全离线、可定制，且支持私有化部署。

Ollama 提供的功能包括但不限于：

1. 模型管理：用户可以方便地搜索、下载和管理多种语言模型。

2. 命令行接口：提供简单的命令行工具，使得与模型的交互更加高效。

3. 集成支持：Ollama 可以与其他开发工具和框架进行集成，方便在不同的应用场景下使用语言模型。

4. 可扩展性：用户能够根据自己的需求定制和扩展模型的功能。

在当今自然语言处理的快速发展中，Ollama 为开发者提供了一种简化的解决方案，使他们能够快速采用和实施先进的语言学习技术。

2. 下载安装

Ollama下载地址：https://ollama.com

打开网址，进入下载页面，如下：

点击“Download”，进入选择页面，选择合适的版本

或者直接拷贝完整下载路径：

https://github.com/ollama/ollama/releases/latest/download/OllamaSetup.exe

用其他下载软件（如：迅雷）进行下载。

下载完后，点击“OllamaSetup.exe”安装。

安装完后，cmd进入命令提示符系统或Powershell，输入命令：ollama -h. 显示如下信息，说明安装成功。

3. 几个Ollama常用的命令：

1、列出本地可用的模型列表：ollama list

2、拉取模型：ollama pull model_name

3、启动模型：ollama run model_name

4、查看模型信息：ollama show model_name

5、删除指定模型：ollama rm model_name

二、下载DeepSeek模型

在浏览器中打开ollama的模型仓库网页：

https://ollama.com/library

根据需要和硬件配置条件，选择合适的模型大小版本，

如：deepseek-r1:1.5b

复制右上角的命令文本：ollama run deepseek-r1:1.5b

通过cmd或Powershell打开命令提示符系统界面，将命令文本输入命令提示符界面。按回车，Ollama开始下载模型文件：

下载完成后，显示如下：

此时，可输入你需要提问的问题。

关闭命令提示符系统后，再次输入命令：ollama run deepseek-r1:1.5b 可以重新打开Ollama。

三、安装AnythingLLM并配置

1. AnythingLLM简介

 **AnythingLLM** 是一个开源的AI聊天系统，旨在帮助用户构建个性化的私人ChatGPT。它支持多种文档格式，并具备以下核心功能：

• 智能聊天：自动处理文档的上下文分析和内容整理，确保文件间的上下文不会混淆。

• 自定义AI代理：允许用户为每个工作区创建不同的AI代理，如专门处理Python代码或PDF文档的代理。

• 多模式支持：兼容免费的开源模型和需要付费的商用模型，提供极大的灵活性。

• 团队协作：支持通过Docker容器多用户同时使用，适合团队开发或公司内部使用。

• 丰富的API接口：允许开发者轻松集成AnythingLLM到现有应用中，如构建企业内部知识库或自定义客服。

此外，AnythingLLM的安装和使用过程简单，支持Docker部署，使得用户可以快速搭建私人ChatGPT系统。

日常工作中，我们经常需要处理大量文档和资料：

• 产品文档、技术文档散落在各处，查找费时费力

• 新人入职培训需要反复讲解相同的内容

• 客户咨询的问题高度重复，但每次都要人工回答

• 公司内部知识难以沉淀和复用

• 各类参考资料缺乏统一管理和快速检索的方案

传统的文档管理系统只能按目录存储和搜索关键词，而商业AI助手又无法导入私有数据。这时，一个能将文档智能化并支持对话的系统就显得尤为重要。AnythingLLM正是为解决这些痛点而生。

AnythingLLM支持处理多种类型的文档和内容：

• 多格式支持：可以导入PDF、Word、TXT等常见文档格式

• 网页抓取：直接输入URL即可抓取网页内容

• 智能分割：自动将长文档分割成适合向量化的片段

• 元数据提取：自动提取文档的标题、作者等信息

• 增量更新：支持文档的增量更新，无需重新处理全部内容

• 大规模处理：能高效处理GB级别的文档集合

这种灵活的文档处理能力让你可以轻松将各类知识资料导入系统，构建起完整的知识库。

2. 下载安装

打开官网地址：https://anythingllm.com/desktop，根据自己的系统选择下载的版本。

安装过程中，如弹窗提示错误信息：

Error:Failed to download the local LLM libraries，可忽略

3. AnythingLLM配置

下载安装后，打开AnythingLLM软件界面，显示如下：

点击“Get started”.

选择Ollama，AnythingLLM会自动检测本地部署的模型.

点击右侧下一步箭头：“>”

创建自定义工作区，输入工作区的名称。

点击配置按钮，如下图所示：

在“人工智能提供商->LLM首选项”页面，配置为Ollama， 模型选择deepseek-r1:1.5b.

选中工作区，可以上传本地知识库文档，或对工作区进行单独配置。如下所示：

上传知识库文档界面

选中文档，点击“Move to Workspace”按钮，将文档移动到工作区

保存并嵌入，对文档进行切分和词向量化

完成后，点击图钉按钮，将这篇文档设置为当前对话的背景文档。

配置好后，即可输入问题，进行交互。

（鉴于很多朋友无法下载ollama和anythingllm，这里给大家整理好了安装包，扫描领取即可↓↓↓↓）