【保姆级教程】本地部署deepseekR1，ollama+anythingLLM打造个人知识库

目录

1.打造个人知识库的好处

1.1.数据隐私与安全

1.2.定制化与个性化

1.3.成本控制

1.4.知识管理与传承

1.5.离线使用与应急备用

2.部署步骤

2.1Ollama 本地化部署 DeepSeek R1

2.1.1下载Ollama

2.1.2安装Ollama

2.1.3安装DeepSeek R1大模型

2.2部署 AnythingLLM

2.2.1下载AnythingLLM

2.2.2配置模型

2.3创建知识库

2.3.1创建个人知识库

2.3.2测试知识库

---

1.打造个人知识库的好处

1.1.数据隐私与安全

保护敏感信息：本地部署可以确保这些数据不会离开本地设备或内部网络，避免了数据在传输和存储过程中被泄露的风险。

1.2.定制化与个性化

通过本地部署，用户可以根据自己的需求对模型进行定制和优化，使其更适合自己的业务场景和问题域。

界面个性化：AnythingLLM提供了友好的用户界面，方便用户进行配置和管理。

1.3.成本控制

降低云服务费用：使用云服务来运行大型语言模型通常需要支付较高的费用，尤其是对于长期和大规模的使用来说，成本较高。本地部署可以节省这些云服务费用，降低运营成本。

硬件投资可控：虽然本地部署需要一定的硬件投入，但用户可以根据自己的需求选择合适的硬件设备，并且可以长期使用，投资成本相对可控。

1.4.知识管理与传承

集中管理：将各种文档、笔记、网页等数据源整合到本地知识库中，方便进行集中管理和更新，避免了知识的分散和丢失。

1.5.离线使用与应急备用

无网络依赖：在一些没有网络连接的场景下，如飞机上、偏远地区等，本地部署的知识库仍然可以正常使用，为用户提供持续的服务和支持。

应急备用：在网络故障或不稳定的情况下，本地知识库可以作为应急备用方案，确保工作的正常进行，减少因网络问题带来的损失。

总之，选择DeepSeek+Ollama+AnythingLLM本地部署打造专属知识库，是出于数据隐私与安全、定制化与个性化等多方面的综合考量。这种部署方式不仅能够满足特定场景下的高要求，还能为用户带来更加高效、便捷的知识管理和使用体验。

2.部署步骤

2.1Ollama 本地化部署 DeepSeek R1

2.1.1下载Ollama

访问Ollama官网：Ollama

点击Download，根据你的操作系统（Windows、MacOS 或 Linux）选择对应的安装包进行下载。

2.1.2安装Ollama

下载完成后，运行安装程序，按照提示完成安装。

Windows：直接安装.exe文件，一步一步安装完毕即可。

Mac：将文件下载后，直接将Ollama程序拉到应有程序文件夹即可。

安装完成后，

打开终端或命令提示符（win键+R键，输入cmd回车），

输入以下命令来检查 Ollama 是否安装成功：

ollama --version

如果显示版本信息，说明安装成功。

2.1.3安装DeepSeek R1大模型

目前常用版本以及推荐硬件配置

入门级：1.5B版本(4GB内存+核显可运行)

进阶推荐：8B版本(8GB内存+4GB显存)

高性能设备：32B版本(32GB内存+12GB显存)

我选择的是8B版本

在cmd中输入

ollama run deepseek-r1:8b

过程较长，耐心等待即可

成功之后输入ollama list，出现模型信息即可。

ollama list

常用 Ollama 命令 列出本地可用的模型列表：ollama list

​ 启动模型：ollama run model_name

​ 查看模型信息：ollama show model_name

​ 删除指定模型：ollama rm model_name

2.2部署 AnythingLLM

2.2.1下载AnythingLLM

下载安装 AnythingLLM

​ 访问 AnythingLLM 官网：https://anythingllm.com/desktop

​ 根据你的操作系统选择对应的安装包进行下载。

​ 安装完成后，打开软件，它会自动跳转到 AnythingLLM 界面。

2.2.2配置模型

选择 Ollama 作为模型来源。确保 Ollama 本地部署的模型正常运行，AnythingLLM 会自动检测到本地的 DeepSeek 模型。

配置以下选项：

LLM Selection（大语言模型选择）：选择 Ollama。

Embedding Preference（嵌入偏好）：选择 AnythingLLM Embedder。

Vector Database（向量数据库）：选择 LanceDB。

在 AnythingLLM 界面左下角，选择小扳手进入设置，点击人工智能供应商--LLM首选项

2.3创建知识库

2.3.1创建个人知识库

进入到AnythingLLM界面

在左侧工作区找到上传按钮，上传你的文档（如 PDF、TXT、Excel 、DOCX（DOC文件不行）等），选中上传的文档，点击“移动到工作区”。

步骤1

步骤2

步骤3

点击“Save and Embed”，对文档进行切分和词向量化

步骤4：点击图钉按钮，将这篇文档设置为当前对话的背景文

2.3.2测试知识库

测试知识库，下面显示引用了那个文件的内容，完成。

总结

遵循上述步骤，你将能够在本地迅速搭建一个专属的知识库，并借助DeepSeek、Ollama与AnythingLLM的强劲能力，达成高效的知识管理与问答功能。无论是对个人学习而言，还是企业办公场景，这样的本地知识库都将成为你的得力助手，带来显著便利。

若在部署环节遇到任何难题，欢迎随时在评论区留言探讨。期待本文能助力你勇敢踏出探索AI的第一步，共同开启无限可能！