Deepseek R1 + RAG知识库本地部署——8G内存不会编程也轻松搞定

作者：VSTECS VMware 渠道业务部 肖晓波

邮箱：Mike.xiao@vstecs.com

各位小伙伴新年好啊！伟仕佳杰小V君向各位拜年啦！祝大家春到家门福满门，步步高升笑颜开！

昨天蹭热度发了一篇《DeepSeek R1模型简单三步部署在8G内存的MacBook上》。如果您也在自己的电脑上部署了R1 1.5B模型，使用起来可能会遇到无法联网搜索、好多问题回答得不尽如人意、好多问题还会出现幻觉......这是正常现象，毕竟这个模型只有1.5B参数量。想要获得更好效果必须部署更大模型，但这对资源的需求就更大了，个人电脑、没有显卡可能就撑不起来了。

转念一想，我能给这个小模型添加一个本地化的知识库，告诉他一些公司内部信息，让他回答问题时从本地知识库中去检索信息后再回答且不美哉？推而广知，这不解决了使用大模型时企业数据安全隐私和安全问题了吗？（本地部署模型可以不连网运行）所以就有了下面的内容。（完整过程大家可以先看上面的连接，再结合下面内容）

先解释一下什么是RAG

RAG是一种结合了信息检索和大模型（LLM）的技术，在对抗大模型幻觉、高效管理用户本地文件以及数据安全保护等方面具有独到的优势。

主要包括：

• 索引：将文档库分割成较短的 Chunk，并通过编码器构建向量索引。
• 检索：根据问题和 chunks 的相似度检索相关文档片段。
• 生成：以检索到的上下文为条件，生成问题的回答。

开干：

昨天我在本地完成了DeepSeek R1 1.5B 模型本地的部署。今天我们还需要下载两个组件：

• Nomic-Embed-Text向量模型
• AnythingLLM

第一步：下载Nomic-Embed-Text向量模型

通过https://ollama.com/library/nomic-embed-text 下载向量模型。

将< ollama pull nomic-embed-text > 复制到本地电脑命令行终端

第二步：下载并安装AnythingLLM

AnythingLLM 是一个功能强大且灵活的开源平台，旨在帮助用户轻松构建和部署基于大型语言模型 (LLM) 的私有化应用程序。它提供了直观的用户界面、丰富的功能以及高度的可定制性，即使是没有任何编程经验的用户也能快速上手：

1. https://anythingllm.com/desktop，登录官网。
2. 下载对应的版本

安装AnythingLLM

安装完成后，软件可能是英文版的，可以参考下图改为中文界面

第三步：配置AnythingLLM

LLM选择本地部署的Ollama--deepseek-r1:1.5b

向量数据库默认配置就行。

Embedder 首选项一定要如下图：

配置完成保存配置回到对话页面。

第四步：添加知识库

在没有添加知识库文件之前，先问本地部署的R1模型一个关于“DeepSeek Janus-Pro版本功能介绍”的问题。答复明显出现幻觉，如下图。

因为DeepSeek R1发布时，Janus-Pro还没发布，而我本地部署的1.5B又不能连网，所以回答不准确是正常的。

添加关于Janus-Pro的说明文档。文档链接：https://github.com/deepseek-ai/Janus/blob/main/janus_pro_tech_report.pdf

将上传的文档移动至工作区中并选择 “Save and Embed”

再次对上面相同的问题提问，即可得到精准的回复，如下图：

再来个更直观搞笑的例子作为结束。