通过扩展RAG来提升大语言模型的准确度

拥抱AGI

已于 2024-08-15 12:00:15 修改

阅读量272

点赞数 3

文章标签：语言模型人工智能自然语言处理深度学习 transformer prompt langchain

于 2024-08-10 13:47:19 首次发布

本文链接：https://blog.csdn.net/2401_85375151/article/details/141089912

版权

1 引言

检索增强生成（RAG）已成为提升大语言模型（LLM）内容生成准确性的关键策略，可有效对抗幻觉和其他不准确现象。为了实现RAG的高效扩展，必须构建合适的数据架构。数据流方法为此提供了坚实的基础，确保LLM能够持续接收丰富、可靠的数据，从而生成精确的结果。此方法还促进了数据与应用团队的独立运作与扩展，加速了创新的步伐。

诸如GPT和Llama等基础性LLM，虽然在广泛的主题上能够生成合理的回应，但它们也会产生内容错误。正如Forrester所指出，公共LLM常常因为依赖公开的互联网数据而产生不相关或错误的结果。此外，这些模型忽略了存储在客户数据库、ERP系统、公司Wiki和其他内部数据源中的公司数据。为了提高准确性并释放商业价值，公司必须整合这些未被利用的数据。

RAG使得数据团队能够将提示（Prompt）与公司特定领域的数据实时关联，为LLM提供了额外的背景信息。这种增强的上下文感知能力，使得LLM更有可能在数据中识别正确的模式，从而提供准确、相关的响应。这对于企业关键用例，如语义搜索、内容生成或智能辅助等，至关重要，因为这些应用场景要求输出必须基于精确且最新的信息。

2 直接在公司特定数据上训练LLM的挑战

在GenAI领域，创建基础模型（foundation model）的黄金标准是通过训练具有数十亿参数的Transformer模型，这通常需要巨大的计算资源和成本。例如，OpenAI曾透露，训练GPT-4的成本超过1亿美元。尽管小语言模型和成本较低的训练方法的研究取得了初步成果，但这些方法尚未成熟到能够广泛推广和商业化。微调（fine-tuning）现有模型是一种资源密集度较低的替代方案，但需要深入的专业知识来确保正确实施。

LLM的民主化优势在于它们为广泛的用户提供了AI技术的访问。然而，如果需要聘请一个由博士组成的专家团队来微调模型，这种优势就会大打折扣。

RAG提供了一个平衡的解决方案，但必须谨慎实施，确保提供准确和最新的信息，并且能够在不同应用程序和团队之间扩展。为了理解为什么事件驱动的架构是这种情况的最佳选择，我们需要了解GenAI应用程序开发的四种模式。

2.1 数据增强（Data Augmentation）

数据增强要求应用程序能够提取相关上下文信息，通常通过向量数据库检索编码在文本中的语义相似信息来实现。这涉及到从多个数据源聚合数据，并将其划分为可管理的、保留原始意义的块。这些数据块随后被嵌入到向量数据库中，以便与提示结合使用。

事件驱动的架构在此过程中发挥着关键作用，因为它能够实时地从企业的不同数据源集成信息，确保提供给LLM的信息是可靠和及时的。传统的ETL管道，依赖批处理操作，往往会导致信息过时。事件驱动架构确保了对操作数据存储的任何更改都能及时反映到向量存储中，从而用于上下文化的提示。将数据组织为流数据产品还提高了可重用性，使得数据转换可以作为可组合的组件，支持多个LLM应用程序的数据增强。

2.2 推理（Inference）

推理过程涉及使用前几步准备的数据来精心设计提示，并处理LLM的响应。当用户输入提示时，应用程序会从向量数据库或类似服务中收集相关上下文，以生成最佳响应。

应用程序如ChatGPT通常需要几秒钟来生成响应，这在分布式系统中是一个显著的延迟。事件驱动的方法允许这种通信在服务和团队之间异步进行。在事件驱动的架构中，服务可以基于功能进行分解，使得应用开发团队和数据团队可以独立工作，优化性能和准确性。

此外，通过采用分解的专用服务而非单体服务，这些应用程序可以独立部署和扩展。这有助于缩短产品上市时间，因为新的推理步骤可以作为消费者组快速实例化，组织也可以模板化基础设施以加速这些步骤的实现。

2.3 工作流（Workflow）

在复杂的任务自动化中，推理代理和步骤常常以序列的形式相互链接，后续的LLM调用依赖于前一个响应。这种方法对于完成多步骤过程至关重要，其中单一的LLM调用无法独立完成任务。此外，将问题分解为一系列简单问题，可以提高现代LLM的响应质量，尽管这一趋势正在逐步演变。

以下示例工作流展示了如何通过数据流平台实现Web开发团队与后端系统工程师的独立工作，每个团队可以根据特定需求进行扩展。数据流平台促成了技术、团队和系统之间的有效解耦。

2.4 后处理

尽管我们采取了预防措施，LLM可能仍然产生不准确的结果。因此，我们必须建立一种机制来验证输出并执行业务规则，以避免潜在的错误造成影响。

通常，LLM工作流和依赖项的变化速度远远快于业务规则的确定。在上述示例中，我们再次看到了数据流平台解耦的优势：合规团队可以独立于构建LLM应用程序的团队来定义规则，验证LLM输出的合规性。

3 结论

RAG是一个强大的工具，用于提升LLM的准确性，并使得生成式AI应用程序适用于企业场景。然而，RAG并非万能钥匙。它需要配合恰当的架构和数据传输机制，使得团队能够在不重复造轮的情况下构建多个生成式AI应用程序，同时确保符合企业的数据治理和质量标准。

数据流模型是满足这些需求的最直接和高效的方法，它使团队能够充分发挥LLM的潜力，为企业创造新的价值。随着技术与业务的融合，人工智能技术正增强这一融合过程，有效利用AI的公司将在竞争中获得优势，通过AI增强和简化流程。

采用通用的运营模式来开发RAG应用程序，企业可以快速推出首个用例，同时加快后续交付速度，并降低成本。这种模式为企业在生成式AI领域的成功奠定了基础。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

在这里插入图片描述

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述