用于复杂RAG任务的先进可控Agent

于 2024-08-30 20:23:29 发布
阅读量796 收藏 27
点赞数 17
文章标签： 大模型 语言模型 大语言模型 RAG Agent LLM 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qkh1234567/article/details/141726547
版权

一种先进的检索增强型生成（RAG）开源解决方案，旨在解决简单的基于语义相似性的检索无法解决的复杂问题。

展示了一个复杂的确定性图，作为高度可控的自主Agent的“大脑”，能够回答来自私域数据的复杂问题。

关键特性

  • 复杂的确定性图：作为Agent的“大脑”，使复杂推理成为可能。

  • 可控自主Agent：能够回答自定义数据集中的复杂问题。

  • 幻觉预防：确保答案仅基于提供的数据，避免AI幻觉。

  • 多步骤推理：将复杂查询分解为可管理的子任务。

  • 适应性规划：基于新信息不断更新其计划。

  • 性能评估：使用Ragas指标进行全面质量评估。

工作流程

  • PDF加载和处理：加载PDF文档并将其拆分为章节。

  • 文本预处理：清洗和预处理文本，以获得更好的摘要和编码。

  • 摘要：使用大型语言模型为每个章节生成广泛的摘要。

  • 书籍引用数据库创建：为需要访问书籍引用的特定问题创建数据库。

  • 向量存储编码：将书籍内容和章节摘要编码为向量存储，以便高效检索。

  • 问题处理：

  • 通过将命名实体替换为变量来匿名化问题。

  • 为匿名化的问题生成高层次的计划。

  • 去匿名化计划并将其分解为可检索或可回答的任务。

  • 任务执行：

  • 对于每个任务，根据上下文决定是检索信息还是回答问题。

  • 如果是检索，从向量存储中获取相关信息并提炼它。

  • 如果是回答，使用思维链推理生成响应。

  • 验证和重新规划：

  • 验证生成的内容是否基于原始上下文。

  • 根据新信息重新规划剩余步骤。

  • 最终答案生成： 使用累积的上下文和思维链推理生成最终答案。

使用案例：哈利·波特书籍分析

该算法使用第一本哈利·波特书籍进行了测试，允许监控模型对检索信息与预训练知识依赖度的对比。这种选择使我们能够验证模型是在使用其预训练的知识，还是严格依赖从向量存储中检索到的信息。

示例问题 问：主人公是如何打败反派的助手的？

为了解决这个问题，需要执行以下步骤：

  1. 确定情节中的主角。

  2. 确定反派角色。

  3. 确定反派的助手。

  4. 搜索主角与反派之间的对抗或互动。

  5. 推断导致主角打败助手的原因。Agent能够分解并解决这样复杂的查询，展示了其复杂的推理能力。

https://github.com/NirDiamant/Controllable-RAG-Agent

如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

学习路线

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

AI学习不迷路
关注
【大模型应用开发 动手做AI Agent】从用户角度看RAG流程
AI天才研究院
05-27 509
1.背景介绍 随着深度学习和自然语言处理技术的迅猛发展，人工智能（AI）和机器学习（ML）已经成为我们日常生活中不可或缺的一部分。从智能家居到自驾汽车，再到人脸识别，AI和ML已经渗透到了我们生活的每一个角落。 然而，在这些技术的背后，开发AI Agent的过程却并非一帆风顺。在过去的几年里，AI社区一直在探讨如何更好地开发和部署AI A
从RAG到Agent的转变：多轮对话：与用户进行更深入的互动
最新发布
AI架构设计之禅
08-31 9117
从RAG到Agent的转变：多轮对话：与用户进行更深入的互动 关键词：多轮对话，RAG，阅读理解，Agent，人机交互，自然语言处理，深度学习 1. 背景介绍 1.
案例解析：RAG的尽头是Agent
2401_85328934的博客
06-20 1239
Naive RAG，很多时候只是一个搜索系统，针对一些简单问题或查询，能够给予用户很好的反馈，但是有很多复杂问题/任务是它无法回答的，那么遇到复杂的问题/任务，我们可以怎么做呢？
大模型应用将从 RAG 迈向 Agent
Admans的专栏
08-01 541
大模型技术席卷全球，为日常工作和生活带来便利，但也面临时效性、准确性等问题。如何提升大模型的性能？解决其挑战？构建高级应用？成为重要待解决问题。
利用元数据过滤、Hybrid Search、 Agent 等功能提升您的 RAG 应用
ZILLIZ
08-26 879
01什么是 RAG？检索增强生成（Retrieval Augmented Generation，简称 RAG）是一种通过整合外部数据源来增强大语言模型（LLM）的技术。典型的 RAG 应用包含以下几个步骤：索引流程：从数据源获取数据并创建索引。这个流程通常包括在 Milvus 中加载数据、切分数据，以及对数据进行排序。检索和生成：在运行时，RAG 应用处理用户的查询，从存储在 Milvus 中的索...
实施 RAG 以构建“与多个 PDF 聊天”应用程序
lyy2017175913的博客
08-22 711
RAG (检索增强生成)是一种通过从外部资源获取事实来提高生成 AI 模型准确性和可靠性的技术。几乎每个 LLM都可以使用 RAG 连接几乎任何外部资源。RAG 使您的应用程序对我们的用户更可靠（“信任”）。为什么？因为 RAG 为模型提供了可以引用的来源，就像研究论文中的脚注一样，因此用户可以检查任何声明。这建立了信任。减少模型错误猜测的可能性，这种现象有时称为幻觉。最后，RAG 使得这种方法比使用额外数据集重新训练模型更快且成本更低。并且它允许用户动态更换新的来源。
大模型部署工具 llama.cpp 介绍与安装使用
youmaob的博客
04-07 6859
另外一个是量化，量化是通过牺牲模型参数的精度，来换取模型的推理速度。llama.cpp 提供了大模型量化的工具，可以将模型参数从 32 位浮点数转换为 16 位浮点数，甚至是 8、4 位整数。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约。llama.cpp 提供了模型量化的工具。
软件开发中的AI：未来已来
伤心的辣条
05-22 1235
AI在软件开发中的应用已经改变了我们的工作方式，并提高了我们的效率和产品质量。然而，AI在软件开发中的潜力仍然巨大，未来的可能性几乎是无限的。我们期待着AI在软件开发中发挥更大的作用，推动我们进入一个全新的时代。下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取【保证100%免费】
RAG+Agent项目实践系列：基于本地菜谱知识库的大语言模型RAG+Agent的解决方案设计和实现
丨汀、的博客
08-09 314
RAG+Agent项目实践系列：基于本地菜谱知识库的大语言模型RAG+Agent的解决方案设计和实现
【大模型应用开发 动手做AI Agent】LlamaIndex和基于RAG的AI开发
AI天才研究院
05-27 769
随着人工智能技术的飞速发展,大语言模型(Large Language Models, LLMs)在各个领域得到了广泛应用。LLMs通过从大规模文本语料中学习,可以生成连贯、自然的文本,完成复杂的自然语言处理任务。然而,LLMs仍然存在知识储备有限、推理能力不足等问题。为了进一步增强LLMs的能力,学术界和工业界开始探索LLMs与其他技术的结合,比如知识图谱、检索增强生成(Retrieval-Augmented Generation, RAG)等。
AI开发基本流程介绍
Java开发，人工智能，边缘计算，致力于掌握前沿技术
02-23 5723
AI（人工智能）是通过机器来模拟人类认识能力的一种科技能力。AI最核心的能力就是根据给定的输入做出判断或预测。
AI 入门，从零搭建完整 AI 开发环境，并写出第一个 AI 应用
xiangxueerfei的博客
05-08 5145
在本文中，我们从零开始，一步步搭建了一个完整的AI开发环境，并创建了一个简单的AI应用。您学习了如何安装Python、Anaconda、TensorFlow，以及如何使用Jupyter Notebook进行开发。通过这个简单的手写数字识别应用，您不仅学习了AI的基本概念，还亲身体验了AI的应用。AI是一个广阔而充满机遇的领域，希望这个教程能够激发您继续深入学习和探索AI的兴趣。
只会写代码远远不够！AI时代，开发者需要具备这些硬技能+软技能
AI科技大本营
03-25 2801
整理 |王轶群责编 |唐小引出品丨AI 科技大本营（ID：rgznai100）“随着人工智能继续塑造开发格局，开发者正在步入一个新的领域——这并不会让他们的职业生涯变得濒临淘汰，却比以往更需要技能和直觉。”Sara Verdi在她近期的一篇博客文章中写道。她表示，诚然，人工智能在给软件开发带来变革，但这场变革的起伏最终取决于开发人员。这是因为这些工具需要有一个领航员来控制。虽然人工智能工具可以...
5条实用经验：教你如何用AI轻松开发产品
m0_73210961的博客
02-18 1449
从全民爱画（draw.aipaint.cn）的AI开发过程中，我总结了5条实用经验，希望能帮助你更好地利用AI来辅助产品研发：1.建立清晰的产品架构；2.从最小可行产品开始构建；3.使用成熟的技术框架；4.让人机交互处于同一频道；5.利用日志进行问题诊断。
AI人工智能系统开发
河南漫云科技的博客
04-10 743
AI人工智能系统软件，是利用计算机和服务器的数据内存储存进行相关的专业知识调用，软件经过处理大量的数据，按照用户搜索的内容进行匹配，刷选优化，找到对应的问题进行展现。AI人工智能系统开发开发可以应用到多个的行业上，学校学习，自然语言，计算机学习，最常见的就是机器人学习和深度的学习。5.模型评估：人工智能的软件按照相关的模型进行评估，提问的问题也是按照经常的搜索历史得出的数据。AI智能技术应用领域广泛，还有更多需要创建智能的数据库，与智能的数据参数进行配比。4.智能金融：智能算法，智能金融数据，智能计算等。
如何开发AI软件
新缸中之脑
08-23 551
人工智能 (AI) 是目前 IT 行业最热门的话题，受到大型科技公司、大型企业和投资者的青睐。如果有人不参与 AI，他们就出局了。虽然“AI 泡沫”一词尚未公开使用，但街上的每个人都可能听说过 AI 将取代我们的工作（可能不会，但基于 AI 的工具已经让这一切变得更容易）。尽管这些预测在某种程度上是正确的，而且我们很可能正在见证一场革命，但我们仍然在这里，需要回答这个问题：我们如何才能控制 AI 的力量？商业世界厌恶真空，作为企业主或有抱负的创始人，我们应该考虑 AI 如何融入我们的难题并影响我们的工作。
AI应用开发实战（转）
aaa407217484的博客
11-28 1618
AI应用开发实战 - 从零开始配置环境 与本篇配套的视频教程请访问：https://www.bilibili.com/video/av24421492/ 建议和反馈，请发送到https://github.com/Microsoft/vs-tools-for-ai/issues 联系我们OpenmindChina@microsoft.com 零、前提条件 ...
AI应用开发流程概述
AI相关从业分享
01-28 531
往往指代应用的交互界面/UI界面。对于Python开发者，不可能对前端开发内容了解得面面俱到，但对于Django web开发、streamlit库快捷web开发等与python密切相关的前端开发方式应具备一定的前端构建能力，且可以利用数据库作为中间件对java web、C++ QT等其他语言开发的界面进行赋能。，面向已经开发好的算法模型与实际业务需求，主要包括算法分析推理时对特征数据的拿取、对模型的应用、对推理结果的后处理、算法升级迭代以及整个服务过程中定时、日志等鲁棒性功能的实现。
浪潮源大模型RAG实战代码注释详解
RAG模型是一种先进的信息检索与生成相结合的神经网络模型，它通过结合预训练语言模型（如BERT）与外部知识库，实现在自然语言处理任务中的高性能。 本资源是由Datawhale AI夏令营第四期提供的，旨在帮助开发者和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值