大模型虽然强大，但是也有技术缺陷。有时会产生“幻觉”，甚至会犯一些事实性错误。这是大模型技术逻辑带来的天然缺陷，大模型的技术机理是，通过大量的知识训练，基于概率最大的原则生成答案。
那么这就带来了几个问题，公开的数据库中往往缺乏真正有用的知识，大模型能学习到只是“皮毛”，由此生成的答案只能是泛泛而谈；而且一旦在训练过程中学习到了不准确的内容，大模型生成的答案就会产生偏差。再者，大模型是基于概率来生成答案，即便是“1加1等于几”这样的问题，也是大模型在训练的过程中，“发现”1+1后面出现2的概率最大，所以才会给出2的答案。除了“1+1=2”这样铁一般的事实不容易出错外，在很多问题上，大模型都不能保证百分之百正确。
大模型另外一项重大挑战是，没有办法实时更新知识。比如，ChatGPT 3.5只学习了2021年9月之前的知识，此后这个世界产生的新知识就无从知晓了。
那么有没有什么办法让大模型变得更准确、更专业呢？答案是有的，这就是今天要谈的检索增强生成技术。
检索增强生成技术英文简称RAG，它的技术原理是整合外部知识库，在大模型接收到提问时，先去检索外部知识库，并将其提供给大模型。这样，大模型在生成答案时，能够参考这些外部数据库中的信息，从而生成更准确和相关的答案。这种方式不仅增强了大模型的输出质量，还避免了重新训练模型的繁琐过程。
百融云创大模型应用一站式开发平台
百融云创将RAG技术引入到大模型应用一站式开发平台——赛博坦，并对Q&A场景专门做了模型能力的强化。在RAG技术的加持下，赛博坦能够学习到足够个性、专业、有用的知识，全面提升了生成答案的精准度和专业性，效果出奇的好。
在赛博坦平台上，用户可以通过角色设定、人物性格、能力范围等基础设定，打造个性化十足、能力强大的助理机器人。但此时的机器人在处理专业工作上，还差一些专业训练。用户可以点开知识管理模块上传文件，它可以是问答、文档，也可以是数据表格。完成上传后，“机器人”会全面学习这些文件，形成知识块。当用户提问时“机器人”通过RAG技术把与问题相关的知识检索出来，并提供给大模型，利用其语义理解能力，结合上下文最终生成问题答案。
每个领域都有自己的智慧和专业知识，RAG的精髓在于能够帮助企业建立专属知识库，这个知识库就像是企业独有的秘笈和配方，不仅可信、有用还独有，这为大模型解决具体行业的具体任务时提供了基础。
同时，RAG还拥有强大的知识长期记忆和理解关联能力，能进行复杂的逻辑推理和概念关联，从而生成更深入的解析和推断。这使得大模型兼具专业性、精准性、可追溯三大优势。
01专业性
RAG如同给大模型开了一个外挂，让它在回答问题之前先在企业的专业知识库里“过过脑子”。同样一个问题，在应用RAG技术前后会产生截然不同的答案。如果用户能建立一个足够强大的企业知识库，大模型很快就能从一个“票友”进化成行业专家。知识改变命运，这句话也适用于大模型。
02精准性
知识不在多，在于精。RAG能帮助大模型抓到问题的核心，并且回答到点上。利用RAG技术实现知识的嵌入、分块和提取，可以为大模型规范出框架和边界，使其在一定范围内去阅读、理解和回答，而不是任其天马行空，这将大大减少其“胡说八道”的概率。百融云创利用赛博坦平台服务了某机构的客服部门，该机构利用赛博坦平台设定线上智能客服的角色、性格，并上传大量语料形成知识库，在RAG的助力下，该机构智能客服与用户的交互变得十分顺畅和丝滑，此前“答非所问”的情况大为改观。
03透明可追溯
RAG技术另外一项优势就是知识的可追溯性，当机器人回答某个问题的时候，会清晰地显示引用知识的源头。一直以来，大模型的“黑盒”模式让人们难以完全信任，RAG则有效改变了这一情况。
我们利用赛博坦平台问了一个问题，“财富管理客户智能运营怎么做？”可以看到，在回答这个问题的同时，它还展示了引用的知识来源。
结合RAG技术的赛博坦，模型的表达能力和预测性能得到显著提升。在第三方测评机构的测评中，百融云创大模型的准确性和精准性，取得了行业领先的成绩，多项指标优于ChatGPT3.5。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
123?spm=1001.2014.3001.5501)这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
1246
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
