【论文阅读笔记】Large Multimodal Agents: A Survey

最新推荐文章于 2024-10-19 20:49:38 发布
最新推荐文章于 2024-10-19 20:49:38 发布
阅读量1k 收藏 5
点赞数 7
文章标签： 论文阅读 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73585751/article/details/136507523
版权

[写在开头] 深度学习小白，如果有不对的地方请大家多指正，对说的就是你大佬！

论文名称: Large Multimodal Agents: A Survey
论文链接: https://arxiv.org/pdf/2402.15116.pdf

Large Multimodal Agents (LMAs) 大型多模态智能体

Motivation
大语言模型的诞生赋予了 agent 类人的决策和推理能力，如何将 LLM-based agent 拓展到多模态领域是学界新兴的研究热点。下面这张图是2022年11月到2024年2月在LMA领域的一些研究工作。
关于LLM-based agent的综述有很多，但在多模态领域的综述文章比较少，因此写了这篇文章总结相关工作。
在这里插入图片描述

文章结构

  1. LMA的四个核心组件: 感知、规划、执行、记忆
  2. LMA的四种类型
  3. 多智能体协作
  4. LMA的评价体系
  5. LMA的应用场景

LMA的核心组成: Perception、planning、action、memory

在这里插入图片描述

Perception

在这里插入图片描述
相较于 text-based agent，LMA需要提取、处理更丰富的环境信息。如何更好地提取和融合特征是LMA的一个挑战。一些早期的工作就是将其它模态的信息转成文本，例如说用一段话描述一张图片，但这会产生冗余或者很多无关的信息; 针对这一问题，许多paper都提出了自己的方法，比如 JARVIS-1从图片中提取关键的词，然后使用GPT refine这些词生成描述性的语句，最后使用视觉信息在这些语句中检索寻找最相关的语句。

Planning

Planner 是LMA的核心组件，负责决策和推理并制定计划完成相应的目标。
文章从四个维度围绕planner进行阐述, model，format，inspection&reflection, planning method
在这里插入图片描述
Model: 基于什么模型进行规划，闭源模型可以调用API，开源模型可以进行微调
Format: 即规划的结果，自然语言或者程序
Inspection&reflection: 即是否有查询、反思的操作
Planning method: 即是静态规划还是动态规划
在这里插入图片描述
跟我理解的刚好反过来，不知道是不是写错了

Action

Action模块就是具体的执行模块，生成plan以后以什么样的方式去执行
在这里插入图片描述
Action方式包括使用工具（T）、具身动作(E)、虚拟动作(V)。

Memory

使用记忆库可以帮助LMA做出更准确的规划。记忆一般以键值对的方式储存。
LMA的四种类型
A. 没有记忆组件的闭源模型
B. 没有记忆组件的微调模型
C. 有间接接触的记忆组件的模型
D. 有直接接触的记忆组件的模型
在这里插入图片描述
在这里插入图片描述
这里是否有直接接触的记忆组件，主要体现在记忆组件用在哪里。用在规划上，就是指我规划的时候参考之前的状态-规划键值对，做出合适规划；用在action上，就比如生成了py文件，执行组件根据之前的记忆，知道要调用python去运行，类似于这样子。

多智能体协作

多智能体协作可以分为两类，有记忆机制的多智能体协作和没有记忆机制的多智能体协作。
在这里插入图片描述

LMA的评价体系

主观评价
Versatility：是否可以使用多种工具
User-Friendliness：LMA的执行速度、准确度等，是否能让用户满意
Scalability: 是否能够使用新的工具、生成内容的多样性
Value and Safety: 生成内容是否是安全的
客观评价
Metric: 现有的指标都是跟特定的任务挂钩的，不能全面评价LMA的能力，因此需要探索更合适的指标。
Benchmarks：这里主要介绍了提出了一些Benchmarks的工作，比如GAIA提出了一个包含了466个问答的测试集
LMA的应用场景
在这里插入图片描述
机器人和具身智能、自动驾驶、视觉生成和编辑等等

以上就是这篇论文Large Multimodal Agents: A Survey的阅读笔记，掐头去尾只有10页，跟其它综述相比确实比较单薄，主要聚焦于多模态LLM，最后作者还以讨论结尾，讨论未来MLLM的发展方向，大家可以去读一读。

创作不易，转载请注明出处。

Vampire94482664
关注
The (R)Evolution of Multimodal Large Language Models: A Survey
c_cpp_csharp的专栏
04-15 436
连接文本和视觉模式在生成智能中起着至关重要的作用。因此，受大型语言模型成功的启发，大量的研究工作正致力于多模态大型语言模型（MLLM）的开发。这些模型可以无缝集成视觉和文本模式，作为输入和输出，同时提供基于对话的界面和指令遵循功能。在本文中，我们全面回顾了最近基于视觉的MLLM，分析了它们的架构选择、多模态对齐策略和训练技术。我们还对这些模型进行了广泛任务的详细分析，包括视觉基础、图像生成和编辑、视觉理解以及特定领域的应用。
Efficient Large Language Models: A Survey
c_cpp_csharp的专栏
12-13 267
大型语言模型（LLM）在自然语言理解、语言生成和复杂推理等重要任务中表现出了非凡的能力，并有可能对我们的社会产生重大影响。然而，这种能力伴随着它们所需的大量资源，突出表明迫切需要开发有效的技术来应对其效率挑战。在这项调查中，我们对有效的LLM研究进行了系统而全面的回顾。我们将文献组织在一个由三个主要类别组成的分类法中，分别从以模型为中心、以数据为中心和以框架为中心的角度涵盖了不同但相互关联的高效LLM主题。
大型多模态智能体：一项调查 Large Multimodal Agents: A Survey
数智笔记
04-24 753
大型语言模型（LLMs）在推动基于文本的人工智能智能体方面取得了卓越表现，赋予它们类似于人类的决策和推理能力。与此同时，出现了一种新兴的研究趋势，专注于将这些由LLM驱动的人工智能智能体扩展到多模态领域。这种扩展使得人工智能智能体能够解释和回应各种多模态用户查询，从而处理更加复杂和微妙的任务。在本文中，我们对由LLM驱动的多模态智能体进行了系统性审查，我们将其称为大型多模态智能体（简称LMAs）。首先，我们介绍了开发LMAs所涉及的基本组件，并将当前的研究内容分类为四种不同类型。
Large Multimodal Agents: A Survey（大型多模态代理：综述）
qq_46094659的博客
03-18 2175
大型语言模型（LLM）在支持基于文本的人工智能代理方面取得了卓越的性能，赋予它们类似于人类的决策和推理能力。与此同时，出现了一种新兴的研究趋势，重点是将这些由LLMs支持的人工智能代理扩展到多模式领域。此扩展使人工智能代理能够解释和响应不同的多模式用户查询，从而处理更复杂和细致的任务。论文 LLM 驱动的多模式代理进行了系统回顾，论文将其称为大型多模式代理（简称 LMA）。首先，论文介绍了开发 LMA 所涉及的，并将当前的研究主体分为。随后，论文审查了整合多个 LMA 的，以提高集体效率。该领域的。
【热】大语言模型智能体(LLM Agents)入门指南_智能体入门
qkh1234567的博客
07-22 794
科幻电影和间谍电影中经常出现一种中央人工智能，它与主角交流，搜索互联网和各种秘密数据库，引导主角完成任务。例如电影《钢铁侠》中的贾维斯（J.A.R.V.I.S.）就是一个典型例子。是什么让贾维斯如此特别？钢铁侠甚至不需要告诉它如何解决问题，它会自己找到方法。这正是我们希望通过智能体实现的目标。我们人类将复杂问题分解成更小的子任务和假设，并试图一步一步地证明或证伪它们，以逐步接近解决更大的难题。我们希望通过使用智能体的概念，用大型语言模型模拟这种行为。
【多模态LLM】A Survey on Multimodal Large Language Models 学习笔记
kaka03200的博客
09-11 694
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLMs）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和大语言模型辅助视觉推理（LAVR）。
The Rise and Potential of Large Language Model Based Agents: A Survey 中文翻译
qq_41527980的博客
01-29 1850
长期以来，人类一直追求与或超越人类水平的人工智能（AI），而人工智能代理被视为实现这一目标的有希望的方式。人工智能代理是感知环境、做出决策并采取行动的人工实体。已经有很多关于开发智能代理的努力，但它们主要集中在算法或训练策略方面的改进，以提高特定任务的能力或性能。实际上，社区缺乏一个通用且强大的模型，可以作为设计适应各种情况的人工智能代理的起点。由于它们所展示的各种能力，大型语言模型（LLMs）被认为是人工通用智能（AGI）的潜在火花来源，并为构建通用人工智能代理提供了希望。
每周论文2-周三-基于LLM的多智能体工作综述-Large Language Model based Multi-Agents: A Survey of Progress and Challenges
qq_40671063的博客
03-06 1963
由于LLM令人印象深刻的规划和推理能力，它们被用作自主代理来自动完成许多任务。基于LLM的多代理系统在复杂问题解决和世界模拟方面取得了进步。（基于llm的多代理模拟哪些域和环境?（这些代理人是如何被描述的，他们又是如何交流的?（什么机制促进了代理人能力的增长?该文章总结了常用的数据集或基准，以便访问。
《The Rise and Potential of Large Language Model Based Agents: A Survey》全文翻译
晓野豬
09-22 2881
长久以来，人类一直在追求等同或超越人类的人工智能，而 AI 代理被认为是实现这一追求的有效手段。agent是能够感知环境、做出决策并采取行动的人工智能实体。自 20 世纪中期以来，人们已经为开发 AI 代理做出了许多努力。然而，这些努力主要集中在算法或训练策略的进步上，以增强特定任务上的特定能力或表现。实际上，我们所缺乏的是一个充分且强大的模型，来作为开发可适应各种不同场景的 AI 代理的基础。具有多样且卓越能力的大语言模型，则被视为通向通用人工智能的必经之路，也为构建通用 AI 代理提供了希望。
Multimodal Machine Learning:A Survey and Taxonomy 多模态机器学习：综述与分类
zt_1026的博客
12-15 3006
Multimodal Machine Learning:A Survey and Taxonomy 多模态机器学习：综述与分类 模态是指某种事物发生或经历的方式，每一种信息的来源或者形式，都可以称为一种模态。当研究问题包括多种这样的形态时，研究问题被描述为多模态。多模态机器学习，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。 1.1 引言 我们周围的世界包含多种形式——我们看到物体，听见声音，感受质地，闻到气味等等。一般来说，模态是指事情发生或经历的方式。大多数人把模态这个词和代表我们交流和感觉的
Deep Multimodal Learning A survey on recent advances and trends读书笔记
m0_37374707的博客
10-11 1593
Deep Multimodal Learning A survey on recent advances and trends 读书笔记-YH Introduction 在介绍这一节中提出了本文的目的和两个研究方向 目的是对多模态深度学习的现状进行全面的调查，并提出未来的研究方向。 本文的核心围绕的两个重要的多模态深层学习研究方向： 使用正则化技术改进跨模态学习的方法。 试图通过搜索、优化...
A Survey on Multimodal Large Language Models
c_cpp_csharp的专栏
07-04 1228
多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的新兴能力，如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。在本文中，我们旨在追踪和总结MLLM的最新进展。首先，我们提出了MLLM的公式，并阐述了其相关概念。然后，我们讨论了关键技术和应用，包括多模式指令调整（M-IT）、多模式上下文学习（M-ICL）、多模态思想链（M-CoT）和LLM辅助视觉推理（LAVR）。
The Rise and Potential of Large Language ModelBased Agents: A Survey 论文阅读笔记
JP_Y666的博客
10-21 214
不同于传统的vr mr产品，vp整合了相当多的技术和创新，更重要的是苹果这个饼会有更多开发者愿意吃，软件生态的丰富和用户基数的增长必然是个循环，我坚信会是良性的，从从而带动全新的行业变革。这包括模仿人类专家的行为，以及了解他们行为的后果，并根据从环境和人类收到的反馈做出调整，基于LLM的agent也具有通过生成可执行程序或将现有工具集成到更强大的工具中来创建工具的能力。规划能力对智能体至关重要，而该规划模块的核心是推理能力，通过推理，代理将复杂的任务分解为更易于管理的子任务，为每个任务制定适当的计划。
【热】大语言模型智能体(LLM Agents)入门指南
程序员鑫港的博客
05-06 1009
科幻电影和间谍电影中经常出现一种中央人工智能，它与主角交流，搜索互联网和各种秘密数据库，引导主角完成任务。例如电影《钢铁侠》中的贾维斯（J.A.R.V.I.S.）就是一个典型例子。是什么让贾维斯如此特别？钢铁侠甚至不需要告诉它如何解决问题，它会自己找到方法。这正是我们希望通过智能体实现的目标。我们人类将复杂问题分解成更小的子任务和假设，并试图一步一步地证明或证伪它们，以逐步接近解决更大的难题。我们希望通过使用智能体的概念，用大型语言模型模拟这种行为。
论文阅读-U3M(2)
luralying的博客
10-16 900
在使用基于CNN的模型学习数据特征时，由于CNN是使用卷积在输入图像局部的滑动卷积提取特征，所以想当然的认为基于CNN的方法很难感知到图像的绝对位置信息。但是作者发现了一个有趣的现象，我们通常认为图像的显著性区域集中在图像中心，在对图像进行裁剪后（显著性区域内容不会变化，但是位置会发生变化），模型仍然可以感知到显著性区域。因此作者提出一个假设：卷积神经网络能够隐式地将图像的绝对位置编码进特征图中。作者通过一系列随机化测试来验证该假设。
12、论文阅读：SpikeYOLO：高性能低能耗目标检测网络
DQHNB的博客
10-16 689
脉冲神经网络（Spiking Neural Networks, SNNs）具有生物合理性和低功耗的优势，相较于人工神经网络（Artificial Neural Networks, ANNs）。然而，由于性能较差，目前 SNNs 的应用仅限于简单的分类任务。在这项工作中，我们专注于缩小 SNNs 和 ANNs在物体检测任务上的性能差距。我们的设计围绕网络架构和脉冲神经元展开。首先，YOLO 系列在转换为对应的脉冲版本时，由于模块设计过于复杂，导致了脉冲退化。为了解决这个问题，我们设计了一种。
【论文阅读】Detach and unite: A simple meta-transfer for few-shot learning
cainiaomyf的博客
10-17 519
小样本学习（Few-shot Learning, FSL）是一个具有挑战性的问题，旨在从有限的示例中学习并进行泛化。最近的研究采用了元学习和迁移学习策略的结合来解决 FSL 任务。这些方法执行预训练，并将学到的知识转移到元学习中。然而，这种迁移模式是否适当尚不明确，且这两种学习策略的目标尚未得到充分探讨。此外，FSL 中元学习的推理依赖于样本关系，而这些关系需要进一步考虑。在本文中，我们揭示了预训练与元学习策略之间一个被忽视的学习目标差异，并提出了一种简单但有效的小样本分类任务学习范式。
[论文阅读]Deep Depth Completion of a Single RGB-D Image
qq_41776136的博客
10-15 734
我们的工作目标是完成RGB-D图像的深度通道。商用级深度摄像头通常无法捕捉光滑、明亮、透明和远处表面的深度信息。为了解决这个问题，我们训练了一个深度网络，该网络以RGB图像作为输入，并预测稠密的表面法线和遮挡边界。然后，这些预测与RGB-D摄像头提供的原始深度观测数据结合起来，解决了包括原始观测中缺失像素在内的所有像素的深度问题。
GS-SLAM论文阅读--GSORB-SLAM
最新发布
qq_45795134的博客
10-19 664
3D高斯飞溅（3DGS）的出现最近引发了密集视觉SLAM研究的新浪潮。然而当前的方法面临着诸如对伪影和噪声的敏感性、训练视点的次优选择以及缺乏全局优化等挑战。目前迫切的问题仍然需要解决，例如Bundle Adjustment （BA）问题和对工件的敏感性，这会导致跟踪精度的降低。此外，缺乏多视图约束和强各向异性导致高斯函数对当前视点过拟合。虽然Photo-SLAM和TAMBRIDGE都利用了ORB特征点，但它们并没有充分利用特征点的潜在性能优势。
deep multimodal learning a survey on recent advances and trends
08-11
深度多模态学习是一种研究方法，它将多个模态（例如语音、图像、视频等）的信息进行融合和学习。近年来，深度多模态学习取得了许多重要进展和趋势。 在多模态学习中，深度神经网络在特征提取和模态融合方面发挥了重要作用。通过深度网络的层次处理，可以有效地从原始模态数据中提取出高层次的语义特征。同时，多模态数据的融合也成为研究热点。不同模态之间的关联信息可以通过深度多模态网络进行学习和利用，提高了模型的性能。 近年来，深度多模态学习在不同领域取得了一系列重要的研究成果。在自然语言处理领域，多模态问答系统、图像字幕生成和视觉问答等任务得到了广泛研究。在计算机视觉领域，通过融合多个模态的信息，如图像和语音，可以实现更准确的物体识别和行为分析。在语音识别和语音合成领域，多模态学习也被用来提高语音处理的性能。 同时，一些趋势也值得关注。首先，多模态学习的应用正在不断扩展到更多领域，如医疗、机器人和智能交通等。其次，深度多模态学习和其他深度学习技术的结合也被广泛研究，以提高模型的性能和泛化能力。此外，深度多模态学习在大规模数据和计算资源方面的需求也值得关注。 总之，深度多模态学习是一个充满潜力和挑战的研究方向。随着技术的不断发展和应用需求的增加，我们有理由相信，深度多模态学习将在未来发挥更重要的作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值