提升AI模型的准确性与可靠性
介绍
检索增强生成（RAG）彻底改变了使用大语言模型和利用外部知识库的方式。它允许模型从文档存储的相关索引数据中获取信息用以增强其生成的内容，使其更加准确和信息丰富。然而，RAG并非完全无缺。它有时会检索出不相关或不正确的信息，这就导致了不准确或带有明显误导性的生成内容。这就是 CRAG （修正型检索增强生成）发挥作用的地方。
CRAG 是一种强大的技术，它通过结合反馈机制来改进检索过程，从而增强了 RAG 的鲁棒性。它确保生成中使用的信息既相关又准确，从而产生更可靠、更值得信赖的生成内容。
了解 CRAG
CRAG 的工作原理是对检索到的文档进行额外的内容审查。它采用一种称作”评估器“的模型来评估每个文档与给定查询的相关性。如果评估器认为文档不相关，CRAG 会启动回退机制（通常利用网络搜索）来搜索其他来源的信息。
CRAG 的优势
1. 提高准确性：通过确保检索信息的相关性，CRAG 显著降低了产生不正确或误导性内容的可能性。
2. 增强可靠性：CRAG 通过验证生成中使用的信息来提供安全网，使模型更加值得信赖和可靠。
3. 扩展知识库：回退机制允许模型利用更广泛的信息源，从而有可能客服原始文档存储的限制。
了解检索评估器架构
我从论文《Corrective Retrieval Augmented》中截取了如下的示意图，在该示意图中描绘了如何构建一个检索评估器来评估检索到的文档与输入的问题的相关性。对置信度进行估计，以此为基础可以触发不同的知识检索操作，如”正确“、”错误“或”模棱两可“。
来源：《Corrective Retrieval Augmented Generation》
该方法被命名为“校正增强生成”（Corrective Retrieval-Augmented Generation，CRAG），旨在自我校正检索结果并增强文档在生成过程中的利用率。
引入了一个轻量级的检索评估器，用于评估给定查询下检索到的文档的整体质量。
该评估器是“检索增强生成”（Retrieval-Augmented Generation，RAG）的关键组成部分，通过审查和评估检索到的文档的相关性和可靠性，帮助生成有价值的信息。
检索评估器量化了信心水平，从而基于评估结果触发不同的知识检索操作，如“正确”、“错误”或“模棱两可”。
对于“错误”和“模棱两可”的情况，可以通过大规模网络搜索，以解决静态和有限语料库的局限性，旨在提供更广泛和多样化的信息集。
最后，在整个检索和利用过程中实施了“分解再重构”算法。
该算法有助于消除检索文档中对RAG无益的冗余内容，优化信息提取过程，并在减少非必要元素的同时最大限度地包含关键信息。
检索评估器逻辑算法
检索评估器涉及到一种算法，该算法确保检索到的信息的细化，优化关键信息的提取并最大限度地减少非必要信息被检索到，从而提高检索到的数据的利用率。
通过下面的算法伪码我们来了解检索评估器的核心思想：
来源：《Corrective Retrieval Augmented Generation》
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈
使用 LlamaIndex 实现CRAG
LlamaIndex 提供了一个便利的框架来实现 CRAG。这是一个简化的示例，目的是让您了解这个过程：
步骤一：安装 OpenAI 的 Python 库并填写 API 秘钥
%pip install llama-index llama-index-indices-managed-llama-cloud llama-index-tools-tavily-research
import nest_asyncio
import os
nest_asyncio.apply()
os.environ["OPENAI_API_KEY"] = "<YOUR_OPENAI_API_KEY>"
步骤二：设计工作流程
步骤三：创建基于 LlamaCloud 的索引
from llama_index.indices.managed.llama_cloud import LlamaCloudIndex
index = LlamaCloudIndex( name="<索引名称>", project_name="<项目名称>", api_key="<LlamaCloud_API_KEY>", organization_id="<组织ID>",)
# 设置工作流程集成workflow = CorrectiveRAGWorkflow(index=index, tavily_ai_apikey="<TAVILY_API_KEY>", verbose=True, timeout=60)
# 可视化工作流from llama_index.utils.workflow import draw_all_possible_flows
draw_all_possible_flows(CorrectiveRAGWorkflow, filename="crag_workflow.html")
步骤四：执行一个示例查询
from IPython.display import display, Markdown
result = await workflow.run(query_str="How was Llama2 pretrained?") # 这是在所提供的论文中提到的内容。display(Markdown(str(result)))
# 输出内容Running step retrieveStep retrieve produced event RetrieveEventRunning step eval_relevanceStep eval_relevance produced event RelevanceEvalEventRunning step extract_relevant_textsStep extract_relevant_texts produced event TextExtractEventRunning step transform_query_pipelineStep transform_query_pipeline produced event QueryEventRunning step query_resultStep query_result produced event StopEventLlama 2 was pretrained using self-supervised learning on 2 trillion tokens of data from publicly available online sources.result = await workflow.run(query_str="Where does the airline flight UA 1 fly?") # this info is not in the paperdisplay(Markdown(str(result)))
# 输出内容Running step retrieveStep retrieve produced event RetrieveEventRunning step eval_relevanceStep eval_relevance produced event RelevanceEvalEventRunning step extract_relevant_textsStep extract_relevant_texts produced event TextExtractEventRunning step transform_query_pipelineStep transform_query_pipeline produced event QueryEventRunning step query_resultStep query_result produced event StopEventThe airline flight UA 1 flies from San Francisco, California (SFO) to Singapore (SIN).
结论
CRAG 是一种非常有价值的技术，可提高检索增强生成的可靠性和准确性。通过结合反馈机制和后备策略，CRAG 可确保语言模型根据相关且准确的信息来生成回答。LlamaIndex 提供了一个用户友好的平台来实施 CRAG，使得开发者能够构建更强大、更值得信赖的 AI 应用。
如何学习AI大模型？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈
学习路线
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
27
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
