快速上手！教你如何让DeepSeek使用本地知识库

最新推荐文章于 2025-03-16 23:10:04 发布
最新推荐文章于 2025-03-16 23:10:04 发布
阅读量1k 收藏 17
点赞数 8
文章标签： 人工智能 自动化 运维 算法 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59163425/article/details/145738377
版权

今天又有一个新问题，可以使用DeepSeek分析本地知识库，进行相应回答吗?比如，西南财经大学教务处官网上的这个制度：

我这样问：我是一名老师，我突然生病，后面的课程不能上课，怎么办？

如果没有让DeepSeek去了解过这个规章制度，它的回答是：

这样很普通很通用的。

如果是配置的这个知识库（将对应的规章制度的文件放进去），它的回答是这样的：

这个回答就更具有针对性。如何才能实现这个效果呢？在本地使用CherryStudio调用DeepSeek才行。在此基础上，我们只需要以下简单几步就可以实现上面的功能。

🌟一、增加模型

在硅基流动中选择免费的嵌入模型：

复制模型名称：

打开CherryStudio进行配置：

将模型ID复制进去：

🌟二、添加本地知识库

将相关文件拖动到相应位置即可，这里不要放不能放的文件哦（安全很重要）！也可以直接添加目录。

🌟三、会话时开启知识库

这里选择本地知识库《规章制度》，《规章制度》对应前面的知识库中自己建立的《规章制度》：

选择好后，确定知识库是否启用：

这样就可以会话了。这里我是使用的DeepSeek-v3的模型，当然也可以使用DeepSeek-r1的模型，效果如下：

你可以对比一下v3和r1的回答，哪个你更喜欢呢？

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

DeepSeek+本地知识库：真的太香了
一个喜欢诗和远方的程序媛
03-12 1915
两种主流的搭建方案，保姆级教程，分别是基于 Cherry Studio 和基于 AnythingLLM 的搭建方法。
超实用！用 Ollama + DeepSeek + Dify 搭建本地知识库，提升企业效率
Happiness is everywhere
02-13 3203
本文介绍了如何使用 Ollama + DeepSeek + Dify 搭建本地知识库，帮助企业高效管理信息。通过简单配置，可实现智能问答、文档检索等功能，提升效率并保障数据安全。
利用大模型deepseek搭建本地知识库并且实现 java 调用
weixin_43012300的博客
02-18 2656
使用 deepseek 搭建本地知识库
DeepSeek 本地部署+API调用
weixin_38710804的博客
02-20 2196
DeepSeek 本地部署，界面化展示以及API调用
DeepSeek + Python 提效测试用例生成落地
weixin_44872675的博客
02-05 3749
通过 DeepSeek 结合自动化测试工具（如 Selenium 或 pytest），将生成的测试用例转化为自动化测试脚本。结合 DeepSeek 的语义分析功能，检查测试用例是否覆盖所有需求，并补充遗漏的测试场景。构建统一的测试用例库，支持整个团队通过 DeepSeek 查询和复用测试用例，减少重复劳动。的能力扩展到测试用例生成场景，并探讨具体的落地实践和可扩展的应用场景。将测试用例与历史缺陷关联，生成针对性用例，确保修复的缺陷不会再次出现。通过关键词提取和语义分析，解析需求文档中的重要信息。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2518
TensorFlow相关组件的安装
62页PPT，初步看懂人工智能！
数据中心运维管理
08-08 1233
来源：鲜枣课堂
23张PPT搞懂DeepSeek核心技术！
QcloudCommunity的博客
02-12 1720
DeepSeek 作为AI 大模型其中的佼佼者，各种突破与创新不断涌现，正引领着人工智能发展的新方向；本文以 PPT 式风格直观呈现技术精髓，深入揭秘 DeepSeek 核心技术。关注腾讯云开发者，一手技术干货提前解锁????今晚7:30还有腾讯云工程师还将现场演示教你 DeepSeek 丝滑部署的 N 种方式，记得预约直播！????DeepSeek 核心技术大揭秘，以 “PPT 式风格” 更好地展现核心技术...
自己动手，丰衣足食！用 Ollama + DeepSeek + FastGPT 搭建本地知识库，开启智能办公新体验
Happiness is everywhere
03-16 1138
用 Ollama + DeepSeek + FastGPT 搭建本地知识库，轻松打造专属智能助手，还能保护隐私。按教程一步步来，小白也能搞定！
阿里研究院：2024大模型训练数据白皮书.pdf
06-30
《阿里研究院：2024大模型训练数据白皮书》是一份全面分析大模型训练数据领域现状、挑战和未来发展的报告。报告深入探讨了训练数据的来源、质量、标注、安全以及隐私保护等方面，为大模型训练提供了丰富的数据洞察和策略建议。该白皮书不仅总结了当前大模型训练数据的应用现状，还预测了未来数据需求的趋势，并对数据安全和隐私保护提出了重要的思考。
余俊晖-多模态GraphRAG初探文档智能知识图谱大模型结合范式.pdf
最新发布
04-05
DataFunSummit2025知识图谱峰会嘉宾演讲PPT合集
23张PPT详解DeepSeek核心技术：架构创新与行业应用进展
02-21
内容概要：这篇PPT文档详细介绍并解释了中国本土大语言模型DeepSeek的关键技术和应用前景。首先，概述了DeepSeek的独特特点，如内容token化、无自我意识及上下文长度限定等。接着深入探讨了DeepSeek的核心技术架构及其创新点，例如多模态深度Transformer和支持文本、代码、数学符号的统一理解，MoE（Mixture of Experts）架构以及多层级注意力机制MLR。文档中提到DeepSeek通过架构改进和技术优化实现了低成本训练及高性能推理，在金融、医疗等多个行业中得到了成功的应用。文档同时也分析了DeepSeek的优势——相较于其他国际领先的AI模型，具有更低廉的训练费用和较高的运行效能。文档的最后一部分内容介绍了高效使用DeepSeek的方法及应用场景案例，并指出它不仅能在复杂的工业环境中运用自如。 适合人群：有兴趣深入了解人工智能领域的研究人员和工程师；需要应用深度学习技术的企业和个人。 使用场景及目标：①想要快速了解最前沿的人工智能技术趋势和发展现状；②寻找能够应用于特定领域的先进大模型方案；③希望掌握利用大模型解决问题的有效途径和实践经验。
手把手教你用C++ Builder本地部署Deepseek，小白也能轻松上手！.zip
02-14
总结起来，通过本文的指导，即使是编程新手，也能够顺利完成从环境准备到Deepseek本地部署的整个过程，开始自己的深度学习项目实践。这份指南的实用性和详尽程度，将大大降低新手入门的门槛，并加速项目开发的进程。
小白就能上手的deepseek本地部署大全-ollama+chatbox构建私人本地知识库
02-23
整个过程简单明了，即使是小白用户也能轻松上手，构建自己的个人或企业本地知识库。教程还提供了详细的步骤和注意事项，以确保用户能顺利进行安装和部署。 DeepSeek和Ollama提供了强大的工具，通过简单的安装和配置...
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1556
AI菜鸟向前飞 — LLM简介
用deepseek搭建本地知识库？
02-21
<think>嗯，用户之前问过关于微调32B模型的硬件需求，现在又转向如何用DeepSeek搭建本地知识库。我需要先理解DeepSeek是什么。可能是一个类似LangChain或者LlamaIndex的框架，用于构建基于本地数据的问答系统。用户可能是想在自己的服务器或本地机器上部署一个知识库，利用大模型来处理查询。 首先，我需要确认DeepSeek的具体功能和用途。假设它是一个类似的开源工具，用于整合本地文档和大模型，那么搭建步骤可能包括数据准备、模型加载、建立索引、接口开发等。可能需要结合RAG（检索增强生成）技术，从本地文档中检索相关信息，再生成回答。 用户可能的环境是本地，可能没有高端GPU，所以需要考虑资源限制。之前的问题提到32B模型需要多块A100，但本地知识库可能不需要微调，而是用较小的模型或者优化技术，比如量化、LoRA等。需要建议适合本地运行的模型，比如较小的LLM，如Llama-2-7B或DeepSeek的较小版本。 还要考虑数据处理部分，用户可能需要处理多种格式的文档，如PDF、Word、TXT等，需要工具来提取文本。然后分块、向量化，建立向量数据库，比如使用FAISS或Chroma。再结合检索模块和生成模块。 可能的问题包括如何高效检索，如何处理中文分词，如何优化响应速度。另外，用户可能关心如何保持知识库的更新，是否需要定期重新索引。安全性和隐私性也是本地部署的重要点，需要提醒用户数据加密和访问控制。 需要分步骤解释，从安装环境开始，准备数据，处理数据，构建索引，集成模型，开发接口，优化性能。可能还要比较不同工具和模型的优缺点，帮助用户选择适合他们硬件配置的方案。 最后，用户可能希望有示例代码或配置片段，方便快速上手。还要注意可能的常见错误，比如显存不足，处理大文件时的内存问题，或者编码问题导致文本提取失败。建议使用轻量级框架和工具，降低资源消耗。</think>使用 DeepSeek 搭建本地知识库的完整流程和技术方案，结合 RAG（检索增强生成）技术，适用于个人或企业私有化部署： --- ### **1. 核心架构设计** ```markdown - **数据层**：本地文档（PDF/Word/TXT/Markdown等） - **处理层**： ├─ 文本提取（Unstructured/PyPDF2） ├─ 文本清洗（正则表达式/自然语言处理） ├─ 分块（LangChain TextSplitter） └─ 向量化（Embedding 模型） - **存储层**：向量数据库（FAISS/Chroma/Milvus） - **应用层**： ├─ 检索模块（相似度搜索+关键词过滤） └─ 生成模块（DeepSeek 模型 + RAG 增强） ``` --- ### **2. 硬件与软件要求** | 组件 | 最低配置 | 推荐配置 | |--|----------| | CPU | 4核 x86 | 16核以上 | | 内存 | 16GB | 64GB+ | | 存储 | 100GB SSD| 1TB NVMe | | GPU | 可选（集成显卡） | RTX 3090 24GB（加速推理）| | 系统 | Ubuntu 22.04 / Windows WSL2 | --- ### **3. 具体实现步骤** #### **步骤1：安装环境依赖** ```bash # 创建虚拟环境 conda create -n deepseek_rag python=3.10 conda activate deepseek_rag # 安装核心库 pip install deepseek-ai # 假设存在官方SDK pip install langchain faiss-cpu unstructured[all] python-docx ``` #### **步骤2：准备本地知识文档** - 将文档按类别存放在 `./knowledge_base/` 目录下： ``` knowledge_base/ ├─ technical_manual/ │ ├─ product_A.pdf │ └─ spec_2023.docx └─ company_policy/ ├─ hr_handbook.txt └─ security_rules.md ``` #### **步骤3：文档处理与向量化** ```python from langchain.document_loaders import DirectoryLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.embeddings import HuggingFaceEmbeddings # 加载文档 loader = DirectoryLoader('./knowledge_base/', glob="**/*.*") docs = loader.load() # 中文分块（建议512-1024 tokens） text_splitter = RecursiveCharacterTextSplitter( chunk_size=800, chunk_overlap=100, separators=["\n\n", "。", "！", "？"] ) chunks = text_splitter.split_documents(docs) # 选择轻量级Embedding模型（适合本地部署） embed_model = HuggingFaceEmbeddings( model_name="BAAI/bge-small-zh-v1.5", model_kwargs={'device': 'cuda'} # 如有GPU可加速 ) # 生成向量库 from langchain.vectorstores import FAISS vector_db = FAISS.from_documents(chunks, embed_model) vector_db.save_local("faiss_index") # 保存索引 ``` #### **步骤4：集成DeepSeek模型** ```python from deepseek import DeepSeekChat # 假设SDK接口 # 初始化模型（根据硬件选择版本） model = DeepSeekChat( model_path="deepseek-7b-chat", # 本地模型路径 device_map="auto", # 自动分配GPU/CPU load_in_4bit=True # 量化降低显存需求 ) # 构建RAG问答链 from langchain.chains import RetrievalQA qa_chain = RetrievalQA.from_chain_type( llm=model, retriever=vector_db.as_retriever(search_kwargs={"k": 5}), chain_type="stuff" ) ``` #### **步骤5：开发交互接口（可选）** - **命令行界面**： ```python while True: query = input("用户提问: ") if query.lower() == "exit": break result = qa_chain({"query": query}) print(f"答案: {result['result']}\n来源: {result['source_documents']}") ``` - **Web界面**（使用Gradio）： ```python import gradio as gr def respond(query): result = qa_chain({"query": query}) return f"{result['result']}\n\n参考文献: {[doc.metadata['source'] for doc in result['source_documents']]}" gr.Interface(fn=respond, inputs="textbox", outputs="text").launch() ``` --- ### **4. 性能优化技巧** | 优化方向 | 具体方法 | |---------|----------| | **响应速度** | - 使用 `bge-m3` 多向量混合检索<br>- 开启 FAISS 的 IVF 索引加速 | | **显存控制** | - 模型4-bit量化 (`bitsandbytes`)<br>- 启用 PagedAttention 显存管理 | | **检索精度** | - 添加元数据过滤（文档类型/时间）<br>- 混合 BM25 关键词检索 | | **安全防护** | - 敏感词过滤模块<br>- 访问IP白名单限制 | --- ### **5. 常见问题解决方案** 1. **中文分块不准确**： - 使用 HanLP 或 LAC 进行中文分句 - 调整 `RecursiveCharacterTextSplitter` 的分隔符顺序 2. **GPU显存不足**： ```python # 启用模型并行 model = DeepSeekChat.from_pretrained( model_path, device_map="balanced", torch_dtype=torch.float16, offload_folder="offload" ) ``` 3. **文档更新同步**： ```bash # 设置定时任务（每天凌晨更新） crontab -e 0 3 * * * /path/to/python update_vectors.py ``` --- ### **6. 进阶扩展方案** - **多模态支持**：接入 OCR 模块解析扫描件/图片 - **智能更新**：通过 LLM 自动识别文档更新段落 - **权限管理**：集成 LDAP/SSO 实现部门级数据隔离 - **日志审计**：记录所有查询记录和知识溯源路径 -- 通过以上方案，可在单台RTX 3090显卡的服务器上部署支持数万文档的本地知识库，平均响应时间可控制在3秒以内。实际部署时建议先从小规模测试开始，逐步优化检索策略和模型参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值