DeepSeek+RAG本地知识库搭建实战

于 2025-05-10 10:03:46 发布
阅读量689 收藏 25
点赞数 23
文章标签： 算法 人工智能 transformer 数码相机 深度学习 milvus
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Python_cocola/article/details/147848202
版权

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

img

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

手把手实战！基于DeepSeek与CherryStudio的RAG本地知识库搭建指南
银行信息系统架构详解
04-14 94
RAG（Retrieval-Augmented Generation）是一种结合了检索（Retrieval）生成（Generation）的技术，旨在通过引入外部知识库来增强模型的生成能力。简单来说，RAG 让模型在回答问题时，能够像“查百科全书”一样，从外部知识库中检索相关信息，并生成更准确、更丰富的答案。本篇提供两种方式实战RAG。1、使用硅基流动提供的DeepSeek API+CherryStudio搭建本地知识库。
《DeepSeek+Langchain落地实操:RAG知识增强检索和智能体实战开发》
周红伟讲AI
02-11 1001
它的设计理念在于简化和加速利用大型语言模型（LLM）和对话模型构建应用程序的过程。这个框架提供了一套全面的工具、组件和接口，旨在简化基于大型语言模型和对话模型的应用程序开发过程。课程全面系统的讲解AI应用开发框架Langchain、LangGraph。法国科学院数据算法博士/曾任阿里人工智能专家/曾任马上消费金融风控负责人。第6章 DeepSeek+Agent+RAG私有知识销售助手。案例实操：DeepSeek+Agent+RAG私有知识销售助手。不同案例选择器应用_长度选择器_相似度选择器_重叠选择器。
【实战】ChatChat0.3.1+DeepSeek+本地知识库部署使用（上）
zkw54334的博客
02-22 1270
🤖️ Langchain-Chatchat是一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。💡 受 GanymedeNil 的项目 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull Request 启发，建立了全流程可使用开源模型实现的本地知识库问答应用。
DeepSeek RAGFlow构建本地知识库系统
热门推荐
助力企业数字化转型及企业院校赋能培训
02-06 1万+
本文详细的介绍了DeepSeek+RAGFlow 构建本地知识库系统，包含下载Docker,安装Docker,RAGFlow配置，新建知识库、模型配置及新建知识问答等内容。
DeepSeek + Python 提效测试用例生成落地
weixin_44872675的博客
02-05 3806
通过 DeepSeek 结合自动化测试工具（如 Selenium 或 pytest），将生成的测试用例转化为自动化测试脚本。结合 DeepSeek 的语义分析功能，检查测试用例是否覆盖所有需求，并补充遗漏的测试场景。构建统一的测试用例库，支持整个团队通过 DeepSeek 查询和复用测试用例，减少重复劳动。的能力扩展到测试用例生成场景，并探讨具体的落地实践和可扩展的应用场景。将测试用例与历史缺陷关联，生成针对性用例，确保修复的缺陷不会再次出现。通过关键词提取和语义分析，解析需求文档中的重要信息。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2640
TensorFlow相关组件的安装
62页PPT，初步看懂人工智能！
数据中心运维管理
08-08 1290
来源：鲜枣课堂
23张PPT搞懂DeepSeek核心技术！
QcloudCommunity的博客
02-12 1752
DeepSeek 作为AI 大模型其中的佼佼者，各种突破与创新不断涌现，正引领着人工智能发展的新方向；本文以 PPT 式风格直观呈现技术精髓，深入揭秘 DeepSeek 核心技术。关注腾讯云开发者，一手技术干货提前解锁????今晚7:30还有腾讯云工程师还将现场演示教你 DeepSeek 丝滑部署的 N 种方式，记得预约直播！????DeepSeek 核心技术大揭秘，以 “PPT 式风格” 更好地展现核心技术...
实战本地部署DeepSeek和RAG，构建自己专属知识库
m0_62878167的博客
02-14 1015
在“RAG设置”项，将“文本嵌入模型”改为“nomic-embed-text”并保存，此时，我们本地的RAG支持也配置好了，可以开始构建自己的专属知识库了。但是想要支持RAG，还需安装其他的组件，按照RAG的原理和机制，还需要在本地部署一个嵌入模型。DeepSeek-V3和DeepSeek-R1都是非常优秀的国产大模型，如果需要在本地部署，则需要借助Ollama。在DeepSeek-R1中，可以看到有1.5b、7b、8b、14b、32b、70b、671b这几种规模大小的模型下载。
阿里研究院：2024大模型训练数据白皮书.pdf
06-30
《阿里研究院：2024大模型训练数据白皮书》是一份全面分析大模型训练数据领域现状、挑战和未来发展的报告。报告深入探讨了训练数据的来源、质量、标注、安全以及隐私保护等方面，为大模型训练提供了丰富的数据洞察和策略建议。该白皮书不仅总结了当前大模型训练数据的应用现状，还预测了未来数据需求的趋势，并对数据安全和隐私保护提出了重要的思考。
余俊晖-多模态GraphRAG初探文档智能知识图谱大模型结合范式.pdf
最新发布
04-05
DataFunSummit2025知识图谱峰会嘉宾演讲PPT合集
23张PPT详解DeepSeek核心技术：架构创新与行业应用进展
02-21
内容概要：这篇PPT文档详细介绍并解释了中国本土大语言模型DeepSeek的关键技术和应用前景。首先，概述了DeepSeek的独特特点，如内容token化、无自我意识及上下文长度限定等。接着深入探讨了DeepSeek的核心技术架构及其创新点，例如多模态深度Transformer和支持文本、代码、数学符号的统一理解，MoE（Mixture of Experts）架构以及多层级注意力机制MLR。文档中提到DeepSeek通过架构改进和技术优化实现了低成本训练及高性能推理，在金融、医疗等多个行业中得到了成功的应用。文档同时也分析了DeepSeek的优势——相较于其他国际领先的AI模型，具有更低廉的训练费用和较高的运行效能。文档的最后一部分内容介绍了高效使用DeepSeek的方法及应用场景案例，并指出它不仅能在复杂的工业环境中运用自如。 适合人群：有兴趣深入了解人工智能领域的研究人员和工程师；需要应用深度学习技术的企业和个人。 使用场景及目标：①想要快速了解最前沿的人工智能技术趋势和发展现状；②寻找能够应用于特定领域的先进大模型方案；③希望掌握利用大模型解决问题的有效途径和实践经验。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1568
AI菜鸟向前飞 — LLM简介
2023大模型安全解决方案白皮书
12-06 1046
在当今迅速发展的数字化时代，人工智能技术正引领着科技创新的浪潮而其中的大模型技术则被视为人工智能的一大突破。大模型是指参数量巨大能力强大的人工神经网络模型，以其卓越的表现在自然语言处理、计算机视觉、语音识别等领域赢得了持续的关注和青睐。这些模型的出现，不仅在学术界引起了研究者们的广泛兴趣，也在商业应用领域带来了一系列创新和变革大模型技术的崛起，首要得益于深度学习的发展以及硬件计算能力的提升。深度学...
Dify 通过 API 调用 RAGFlow 外部知识库
NLP工程化
11-16 7857
本文使用 Dify v0.10.0+ 和 RAGFlow v0.12.0+ 版本（源码运行）。Dify 中的 RAG 一直被诟病，现在 Dify 提供了外部知识库 API，这样就可以连接到 Dify 之外的知识库并从中检索知识。第一个问题是 API 规范，包括接口格式、输入和输出参数等。第二个问题是哪些外部知识库支持该 API 呢？理论上讲只要支持 API 规范都是可行的。
Ubuntu开源本地化部署Dify+Ollama搭建智能体和工作流
zhangkai1992的专栏
01-01 1064
或者添加国内源,替换下面的URL为国内的镜像地址：：由于国内访问可能较慢，可以使用国内镜像提供的Docker GPG密钥。Docker国内镜像源全部失效的问题。本地寻找一份文件，然后上传。
deepseek+rag+爬虫创建个人知识库
02-26
### 使用 DeepSeek 和 RAG 结合爬虫技术创建个人知识库 #### 构建数据采集模块 为了构建一个高效的个人知识库，首先需要建立可靠的数据源。通过使用爬虫技术可以从互联网上获取大量有价值的信息资源。对于特定领域的需求，可以定制化开发专门用于抓取目标网站内容的网络爬虫程序。 ```python import requests from bs4 import BeautifulSoup def fetch_webpage(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') return soup.prettify() ``` 此部分工作可借鉴已有课程中的实践经验[^1]，确保所收集到的数据既合法又具有实用性。 #### 数据预处理与清洗 获得原始网页资料之后，需对其进行必要的清理操作以去除无关标签、广告等内容，并提取出真正有用的文字描述或其他形式的知识条目。这一过程同样依赖于Python编程技巧及其第三方库的支持。 ```python def clean_data(raw_html): cleaned_text = raw_html.replace('\n', '').strip() # 去除多余空白符 unwanted_tags = ['script', 'style'] # 定义不需要保留下来的HTML标签列表 for tag in unwanted_tags: [s.extract() for s in raw_html('tag')] # 移除指定类型的HTML标签 return cleaned_text ``` #### 整合DeepSeek大模型实践 当准备好足够的高质量语料后，则可以通过调用像DeepSeek这样的大型语言模型来进行进一步加工处理。借助其强大的自然语言理解能力，能够自动识别并分类不同主题下的知识点；同时还能辅助完成诸如摘要生成之类的任务，从而提高整个系统的智能化水平。 #### 应用RAG框架优化查询效率 最后，在实际应用过程中引入基于检索增强生成(Retrieval-Augmented Generation,RAG)机制的设计思路。该方法允许系统在接受用户提问的同时即时访问预先存储好的外部数据库或索引文件，从中挑选最贴切的答案候选集供最终合成参考之用。如此一来不仅提升了回复质量还有效减少了因内部参数调整不当而引发的各种错误情况的发生几率。 ```python class KnowledgeBaseSearcher: def __init__(self, db_path): self.db_connection = sqlite3.connect(db_path) def search(self, query_string): cursor = self.db_connection.cursor() sql_query = "SELECT * FROM knowledge_entries WHERE content LIKE ?" results = cursor.execute(sql_query, ('%' + query_string + '%',)).fetchall() return results ``` 上述流程展示了如何综合利用多种先进技术手段搭建起一套完整的个性化学习平台解决方案[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值