用于复杂RAG任务的先进可控Agent

朝阳区靓仔_James

于 2024-08-23 19:45:11 发布

阅读量408

点赞数 11

文章标签：学习架构 llama 开源人工智能

本文链接：https://blog.csdn.net/weixin_58753619/article/details/141473449

版权

一种先进的检索增强型生成（RAG）开源解决方案，旨在解决简单的基于语义相似性的检索无法解决的复杂问题。

展示了一个复杂的确定性图，作为高度可控的自主Agent的“大脑”，能够回答来自私域数据的复杂问题。

关键特性

复杂的确定性图：作为Agent的“大脑”，使复杂推理成为可能。
可控自主Agent：能够回答自定义数据集中的复杂问题。
幻觉预防：确保答案仅基于提供的数据，避免AI幻觉。
多步骤推理：将复杂查询分解为可管理的子任务。
适应性规划：基于新信息不断更新其计划。
性能评估：使用Ragas指标进行全面质量评估。

工作流程

PDF加载和处理：加载PDF文档并将其拆分为章节。
文本预处理：清洗和预处理文本，以获得更好的摘要和编码。
摘要：使用大型语言模型为每个章节生成广泛的摘要。
书籍引用数据库创建：为需要访问书籍引用的特定问题创建数据库。
向量存储编码：将书籍内容和章节摘要编码为向量存储，以便高效检索。
问题处理：
通过将命名实体替换为变量来匿名化问题。
为匿名化的问题生成高层次的计划。
去匿名化计划并将其分解为可检索或可回答的任务。
任务执行：
对于每个任务，根据上下文决定是检索信息还是回答问题。
如果是检索，从向量存储中获取相关信息并提炼它。
如果是回答，使用思维链推理生成响应。
验证和重新规划：
验证生成的内容是否基于原始上下文。
根据新信息重新规划剩余步骤。
最终答案生成：使用累积的上下文和思维链推理生成最终答案。

使用案例：哈利·波特书籍分析

该算法使用第一本哈利·波特书籍进行了测试，允许监控模型对检索信息与预训练知识依赖度的对比。这种选择使我们能够验证模型是在使用其预训练的知识，还是严格依赖从向量存储中检索到的信息。

示例问题问：主人公是如何打败反派的助手的？

为了解决这个问题，需要执行以下步骤：

确定情节中的主角。
确定反派角色。
确定反派的助手。
搜索主角与反派之间的对抗或互动。
推断导致主角打败助手的原因。Agent能够分解并解决这样复杂的查询，展示了其复杂的推理能力。

https://github.com/NirDiamant/Controllable-RAG-Agent

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述