爆火的本地知识库项目是什么？什么是RAG？本地知识库与大模型的关系

“ 本地知识库就相当于大模型的外部资料库。”

很多人应该都听过本地知识库项目，它是当今人工智能领域爆火的项目之一，那么到底什么是本地知识库？它和大模型有什么关系？怎么构建本地知识库？

01、为什么需要本地知识库？

其实本地知识库和大模型本身没有什么直接关系，可以说它们是两个完全独立的技术。

但因为大模型的幻觉问题和大模型的数据更新迟缓，因此才把知识库技术与大模型技术相结合，产生了大模型知识库技术。

什么是知识库？

知识库简单来说就是资料库，比如国家图书馆收录了我国几千年来的历史书籍和资料；每家企业都会有一些内部数据；各个领域都有自己领域内的数据和资料。

而怎么管理这些资料和数据，就是知识库技术，知识库的核心有两点，一是数据的存储，二是数据的检索。

在互联网技术出现之前，知识库都是以档案室或资料室的形式存在；而计算机技术出现之后，特别是大数据技术出现之后，知识库就可以从线下走到了线上。

而大数据技术也为处理大量复杂数据提供了可能。

大模型技术是当前人工智能领域爆火的技术之一，但它有一个致命的缺陷就是，它的训练数据是有时间限制的，比如chatGPT的数据还是两年前的，它对近两年的情况就什么都不知道了。

解决这个问题其实有多种方式，比如用最新的数据对大模型进行重新训练，或者使用微调技术比如lora，用最新的数据进行微调。

但这两种方式一来成本太高，二来门槛太高，对很多小公司是不可接受的。其次就是，哪怕重新训练出来的大模型，在一些垂直领域的问题上经常会出现“幻觉”问题。

所以，大模型知识库技术就出现了，大模型就类似于一个大学生；它有足够的基础知识，然后在一些没有接触过的领域或者不懂的问题，就去图书馆查资料。

更形象的表达应该是类似于学生期末考试之前，会发考前资料，然后告诉你考试内容在资料里。

这样既解决了大模型的时间限制问题，也解决了成本和门槛问题，也大大减少了幻觉的产生。

02、怎么实现大模型知识库？

实现大模型知识库理论上很简单，就是在问大模型的时候，带上“资料”，大模型根据资料内容进行回答。

但这里需要解决几个问题：

第一，资料的加载问题，随着技术的发展资料的类型也是多种多样，比如有文本文档，图片，视频，声音等等；文本文档还有txt，word，excel等多种格式，还有很多格式化及非格式化数据，因此文档的加载是一个非常麻烦的事情。

第二，资料的存储问题，有了资料之后，需要把资料进行加载然后统一处理，而如果这些资料是给人看，那么只需要把文档按照原本的格式保存即可。但因为大模型只认识向量格式的数据，因此需要把文档转化为向量格式存储，而这就是向量数据库。

第三，数据的检索问题，数据加载到向量数据库之后，应该怎么检索就是一个问题。因为如果资料库比较小问题还不大，如果资料库很庞大，怎么快速的检索，也是一个值得思考的问题。

大模型知识库的使用流程

大模型知识库加载流程如下：

文档加载，通过加载工具把各种格式的文档加载到向量数据库中；其次，需要对文档进行转换拆分，比如按照固定长度进行拆分；然后，通过embedding大模型，把拆分后的文档根据语义转换为向量格式；最后存储到向量数据中。

然后使用的时候，从向量数据库中检索数据。

embedding模型的作用是为了把文档进行有意义的语义转换，否则文档数据直接存储到数据库中就会出现资料错误的问题。

流程如下图所示：

上一步加载完文档之后，就可以进行使用了。

使用的步骤是，用户对大模型进行提问，然后通过embedding把用户提问转化为向量格式，然后根据提问从向量数据库中检索和提问内容有关的资料。如下图8-11步所示。

检索到资料之后，根据用户提问和检索资料，构建prompt template(提示词模板)，最后输入到大模型中，获得结果。

整个知识库的流程如下图所示：

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】