知识库的必要性
不知道大家是否有这样的体验,在公司我个人偶尔会有一些发票需要报销,因为技术岗位的对外场景不多,所以使用走报销流程的场景也很少,可能一个月就一次,每次我进行报销,填写报销单上的信息的时候,比如当我手上拿着“运输服务*客运服务费”的时候,我心里都会很疑虑,报销单上填写交通费?还是运输服务费呢?
每当这个时候,我都要去咨询我们的财务同学,我们的财务同学再告诉我,应该填写什么,但是问多了,都会有些尴尬,因为几乎每次报销可能都会出现一些填写上的错误,然后反复咨询,这对当事人、财务都是一种低效工作。
假如存在这样一个知识库AI,我们将财务相关的流程知识交给他,后续我们不再需要去找财务,而是通过与AI对话就能了解该怎么做、报销单的范本、注意事项,让AI替代财务的审核报销单这件事,岂不是大大节省双方的工作量,提升工作效率?
在以chatGPT为代表的大模型时代,搭建一个知识库AI不再是一个遥不可及的梦想,不需要写一行代码,人人都可以搭建出一个非常强大的知识库AI。
在正式开始知识库AI的介绍之前,我想带大家一起回到20世纪50年代,一起看看早期人工智能知识库如何实现,有什么缺陷,以及为什么大模型可以实现真正的知识库AI。
一直以来的梦想
人工智能学科早在其萌芽阶段,人工智能的大牛们就不断尝试让人工智能理解人类知识,并对人类的语言做出类似人类的反馈的超级梦想。
而早期的实现方案比较原始,使用了通用问题解决器(General Problem Solver),也被称为专家系统的技术方案进行解决。
专家系统本质上就是录入问题与答案,当用户问问题的时候,将匹配到的答案呈现给用户。
大家想象一下5年前的车机系统,其语音功能只能针对一些特定意思的简单的短句做出反馈,稍微复杂一点,或者超出了车机知识的范畴,专家系统便无法正常工作,这样的反应,很显然距离真正的“人工智能“还差的远。
智障车机
以开车场景下驾驶员对车机说“风有点大,帮我关闭窗户”作为例子,车机也许够做出适当的反馈,甚至你只需要说“风有点大”,车机就能明白驾驶员需要进行“关窗”这样的行为;
但是我们想象一下,虽然车机做出了我们预期的反馈,但是车机其实并不懂得这句话的意思,也并不理解“冷”的含义;车机的理解更加像是文字与行为的匹配、关键字的匹配,进而完成相应的操作,比如冷 = 关窗户,至于文字究竟是什么意思,车机并不明白;
如果我们想让这样的车机达到我们预期的“人工智能”,其背后我们则需要输入无数这样的文字与行为的匹配,让他按照字典的方式去对人类的行为进行反馈;
即使这样的车机拥有海量的字典知识,让绝大部分人都无法第一时间感觉到“机械感”,但是稍微复杂的问题,即便会露馅,更别提类似人类的操作了,这远远不是我们期望的人工智能。
而我们的大语言模型的天生对自然语言有这强大的理解能力,加之使用合适的技术手段,将知识库与AI进行融合,让AI像人类一样理解知识,做出合理的反馈,这已经不是遥不可及的梦想。
大语言模型实现的AI知识库
既然我们要去实现知识库,我们便需要将公司内部的文档交给大语言模型,让大模型理解知识库的知识,这样才能发挥大语言模型的能力,实现让AI正确的读懂,我们上传的资料呢?
技术知识大家大致了解就好,实际搭建AI知识库并不涉及技术部分。
RAG
在大语言模型时代,我们拥有了杀手级的工具来实现针对大语言模型的知识补充;
RAG,全称是Retrieval Augmented Generation,中文含义为检索增强生成。
这个工具的实现流程是什么样呢?
-
数据准备阶段
- 上传知识库
- 将文本按照期待的格式进行分割
- 使用一种称为
embedding
的技术将文字向量化,让AI理解我们的知识库 - 存储我们的向量数据
-
提问+回答阶段
- 用户提问
- 理解用户的问题,并更具语义召回相关文字片段
- 大模型结合问题 + 答案进行理解,并回答用户的问题
使用coze中的Bot进行实现
我们使用国产的大模型 AI 应用开发平台,coze.cn进行实现,在知识库中文本中上传知识库,之后我们再询问一些知识库的问题,我们会发现AI已经了解了知识库并且正确的回答了问题。
现在我们问的一些问题比较简单,我们也可以问一些更加复杂的问题,比如知识库不存在的知识,或者知识库存在的知识,但是需要思考总结的。
客观来说,回答的质量是中等的,但是知识库的回答也是符合我们的预期的,但是当你问Bot一些知识库之外的问题,你希望他不参考知识库中的内容,正常与你进行交流的时候,Bot就会显的没那么智能了
- 如果让Bot的回答效果更好?
- 如何让Bot支持不仅可以知识库问答,还可以正常的回答其他的事情呢?
想要实现以上效果,我们便需要通过agent智能体进行实现。
什么是agent智能体?
简单来说就是当我们的任务、或者需求过于复杂,一个大语言模型已经无法完成的时候,我们便需要尝试拆分我们的需求,并进行流程编排,然后让多个大模型相互协同,帮助我们完成该任务。
所以我们实现agent智能体的方式是:workflow工作流;
关于agent智能体,我们会在后续出一篇专门的文章进行说明,大家这里可以简单理解为:多个大语言模型协同工作,我们称之为智能体。
使用agent进行实现更高级的AI知识库
既然我们可以使用多个AI进行知识库搭建,我们便可以拆解一下知识库AI的任务,再将需要思考的部分拆分到每一个的大模型。
任务拆解:
- 接收用户的问题,紧接着就进行知识库的检索
- 如果知识库检索到文字,则判定用户正在咨询知识库的内容,交给知识库回答的AI,结合知识+答案进行二次输出。
- 如果知识库没有检索到文字,则判断用户当前没有咨询知识库的内容,由日常问答的大模型进行与用户的日常问答。
任务分配:
- 大模型A:负责根据用户的问题检索知识库中相关联的答案
- 大模型B:负责针对用户的问题+知识库中检索获得的答案进行思考,整理语言后重新输出
- 大模型C:负责知识库问答之外的闲聊任务。
具体流程:
最后我们再把整个流程给串起来
效果测试:
工作流搭建完成后,我们将Bot与工作流进行关联
对比我们的第一版,其回答效果要更加全面,并且我们增加了一些大模型本身的见解,让阅读者可以更好的理解知识库的回答。
我们再试试问一些知识库无关的问题
可以发现,我们的agent正确的识别了我们问题的意图,进而进入了非知识库问答的路径之中,实现了我们预期的非知识库问答的功能。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/0dc35641cd2d85e39db6e8cb368fa5cb.png)