人工智能的未来？RAG 结合了语言和搜索

随着专家们暗示大型语言模型（LLM）的技术极限即将到来，人们的焦点转向了检索增强生成（RAG）——这是一项很有前途的进步，可以通过将信息检索与自然语言生成相结合来重新定义人工智能（AI）。

LLM引领了人工智能技术，并改进了各种应用。然而，他们产生虚假信息的倾向限制了他们的潜力。RAG 允许 AI 访问特定的外部数据并将其纳入其响应中，使其更加有效和准确。

“RAG相对于LLM的主要优势在于，前者完全基于所述RAG的所有者可以控制的专有数据集，从而允许更有针对性的应用程序，”人工智能公司Wonderslide的首席执行官Renat Abyasov告诉PYMNTS。“假设医生想为他们的病人部署一个聊天机器人;使用 RAG 将使他们能够确保所述聊天机器人提供的建议是可靠和一致的。LLM很难实现这种可靠性，LLM是用大量公开可用且有时相当可疑的数据进行训练的系统。

RAGs致富？
RAG 模型是将语言理解与实时信息检索相结合的尖端 AI。这使他们能够通过访问来自外部来源的最新相关数据来提供更准确和最新的答案。RAG 模型在新闻、研究和客户支持等动态领域表现出色，它们整合新鲜信息的能力使其在需要保持最新状态的情况下具有高度的适应性和价值。

在某些情况下，RAG 可能会击败 LLM。 Tonic.ai 是一家以其专有基准测试平台 Tonic Validate 而闻名的公司，最近对 RAG 系统进行了一系列评估。在其中一项测试中，焦点集中在 CustomGPT.ai 上，这是一种无代码工具，使企业能够将 ChatGPT 风格的解决方案与 RAG 数据库一起部署。

为了评估 CustomGPT.ai 的性能，Tonic.ai 将其与 OpenAI 的内置 RAG 功能进行了比较。评估数据集包括保罗·格雷厄姆（Paul Graham）撰写的数百篇文章和一组55个基准问题，这些问题的答案来自文本。主要目标是评估平台生成准确且与上下文相关的响应的能力。

测试结果显示，CustomGPT.ai 和 OpenAI 的工具都可以产生高质量的答案。然而，CustomGPT.ai 始终如一地为复杂查询提供更精确的响应，从而优于竞争对手。这一结果凸显了 CustomGPT.ai 部署生成式 AI 聊天机器人的简化方法的有效性，使其成为寻求在没有广泛编程知识的情况下实施此类解决方案的企业的一个有吸引力的选择。

使用 RAG 可以带来现实世界的好处。斯坦福大学研究人员和合作者最近发表在NEJM AI杂志上的一份报告表明，RAG可以显着提高LLM在回答医学问题方面的表现。

研究发现，在回答董事会认证医生编写的问题时，GPT-4 的 RAG 增强版本和其他程序的表现优于标准 LLM。作者认为，RAG对于在临床环境中安全使用生成式AI至关重要。

即使是医学特定的LLM，如Google DeepMind的MedPaLM，仍然在与幻觉作斗争，可能无法准确处理临床相关任务。

在相关新闻中，MedPerf 是一项新举措，旨在加快医疗 AI 的发展，同时保护数据隐私。这凸显了对安全可靠的数据集成方法（如 RAG）的需求日益增长，以确保医疗保健中人工智能生成的响应的准确性和相关性。

RAG的优势
Trustible的首席技术官Andrew Gamino-Cheong告诉PYMNTS，许多LLM都接受过相当通用的信息培训，这些信息可以很容易地从互联网上收集。他强调，RAG是增强LLM的一种强大且具有成本效益的方法。通过整合机密或最新信息，RAG 使 LLM 能够提供更准确和相关的响应。这种方法使企业能够充分利用 LLM 的潜力，同时保持其专有数据的安全性和特异性。

他补充说：“LLM的许多用例都受到可能较旧的数据的限制，而RAG模式是使它们保持最新状态的最有效方法，而无需花费数百万美元对其进行全面再训练。“一个秘密是，许多 LLM 提供商希望用户添加 RAG 管道或直接微调他们的基础模型，因为这从根本上转移了很多产品责任。”

Abyasov 解释说，RAG 模型最常用于创建自操作的技术援助程序和对话式 AI 界面。

“在LLM出现在公众的雷达上之前，RAG已经用于这个应用程序多年了，”他补充道。“总的来说，几乎任何需要你拥有严格控制的数据集的应用程序都会倾向于使用RAG，因为它们可以减少意外，并全面获得更一致的结果。”

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】