MM-LLMs ：多模态大语言模型综述

已于 2024-08-10 07:53:30 修改
阅读量1.5k 收藏 12
点赞数 21
分类专栏： Large Model Multi-modal 文章标签： 语言模型 自然语言处理 大模型
于 2024-08-10 07:53:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014546828/article/details/141079369
版权

MM-LLMs:

Recent Advances in MultiModal Large Language Models

https://arxiv.org/pdf/2401.13601

In the past year, MultiModal Large Language Models (MM-LLMs) have undergone substantial advancements, augmenting off-the-shelf LLMs to support MM inputs or outputs via cost-effective training strategies. The resulting models not only preserve the inherent reasoning and decision-making capabilities of LLMs but also empower a diverse range of MM tasks. In this paper, we provide a comprehensive survey aimed at facilitating further research of MM-LLMs. Initially, we outline gen

最低0.47元/天 解锁文章
MM-LLMs: Recent Advances in MultiModal Large Language Models
步子哥的博客
01-25 1203
论文从现有的SOTA（State-of-the-Art）模型中提取了关键的训练策略，如图像分辨率、SFT数据的质量和PEFT（Parameter-Efficient Fine-Tuning）方法的应用，以揭示提升MM-LLMs效能的有效方法。：随着模型规模和数据集的不断扩大，传统的多模态模型在从头开始训练时面临巨大的计算成本。：论文回顾了主流MM-LLMs在主流基准测试上的性能，并总结了关键的训练策略，如使用高质量的SFT数据、提高图像分辨率、以及在SFT中重新混合文本数据等，以提升模型的有效性。
多模态系列-综述MM-LLMs: Recent Advances in MultiModal Large Language Models
lansebingxuan的专栏
03-28 1644
在过去的一年中，多模态大型语言模型（MM-LLMs）取得了实质性的进展，通过高效的训练策略，增强了现成的语言模型，以支持多模态输入或输出。由此产生的模型不仅保留了语言模型的固有推理和决策能力，还赋予了多样化的多模态任务。在本文中，我们提供了一份旨在促进进一步研究多模态大型语言模型的综合调查。首先，我们概述了模型架构和训练流程的一般设计公式。随后，我们介绍了一个包含122个多模态大型语言模型的分类体系，每个模型都具有其特定的公式。
【多模态大模型阅读笔记--1】多模态大模型入门，MLLM综述：MM-LLMs: Recent Advances in MultiModal Large Language Models
Mugi_jiang的博客
05-20 1411
- 归纳了现在多模态大模型的整体架构设计方向 - 提供了现有主流的 26 个多模态大模型 - 总结了提升多模态大模型性能的关键方法
MM-LLMs: Recent Advances in MultiModal Large Language Models MM-LLMs: 多模态大语言模型的新进展（一）
qq_55923034的博客
11-26 774
在过去的一年中，多模态大语言模型( MM-LLMs )取得了长足的发展，通过经济有效的培训策略，增加了现成的LLMs，以支持MM的输入或输出。由此产生的模型不仅保留了LLM固有的推理和决策能力，还赋予了MM任务多样化的能力。在本文中，我们提供了一个全面的综述，旨在促进MM - LLMs的进一步研究。首先，我们概述了模型架构和训练管道的一般设计公式。随后，我们介绍了一个包含126种MM - LLMs的分类学，每种MM - LLMs都有其特定的剂型。
MM-LLMs: Recent Advances in MultiModal Large Language Models MM-LLMs: 多模态大语言模型的新进展（二）
qq_55923034的博客
11-26 950
—腾讯人工智能实验室、日本京都大学、阿联酋穆罕默德·本·扎耶德人工智能大学2024.2发布在arxiv 2024.8 发表在《Findings of the Association for Computational Linguistics: ACL 2024》上，属于中科院2区太长不看版-AI总结：在LLMs出现之前，已有多次对传统多模态预训练（MM PT）的调查。这些模型由于端到端训练需要大量计算资源，且在指令跟随、上下文学习（ICL）、思维链（CoT）和交互能力等方面存在不足。
多模态大语言模型调研《MM-LLMs: Recent Advances in MultiModal Large Language Models》简要介绍
qq_37261357的博客
04-03 1661
题目：MM-LLMs: Recent Advances in MultiModal Large Language Models论文：https://arxiv.org/pdf/2401.13601.pdf?项目主页：https://mm-llms.github.io/GPT诞生以来，一向以强大的自然语言处理能力而著称，人们试着将大型语言模型（Large Language Models，LLM）的强大推理和生成能力在除文本以外的模态数据上应用起来。例如图像、视频、音频、3D点云等。
AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-27 4759
​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra
多模态大语言模型最新进展
weixin_41383129的博客
07-14 189
多模态大型语言模型（MM-LLMs）近期取得显著进步，通过有效训练策略，使模型能处理多模态输入输出，保留并增强语言模型的推理决策能力。MM-LLMs不仅限于文本，还能处理图像、视频和音频等其他模态数据，推动下游任务性能提升。MM-LLMs改进了训练流程，增强交互能力和采用更高效架构。其迭代包括从预训练到微调，再到基于人类反...
多模态大模型（MM-LLMs）近期概述
qq_41458274的博客
07-30 1244
目的：MM-LLMs旨在减少计算费用并提高多模态预训练的效率, 因为从头开始训练时会产生大量的计算成本。挑战：如何有效地将LLM与其他模式的模型连接起来，实现协同推理是MM-LLM面临的核心挑战。焦点：多模态预训练(PT) + MM指令调优(IT)流程来优化模态之间的对齐并与人类意图对齐。
腾讯发表多模态大模型最新综述，从26个主流大模型看多模态效果提升关键方法
夕小瑶科技说
01-29 1645
在腾讯 2024 数字科技前沿应用趋势中，强调了“通用人工智能渐行渐近，大模型走向多模态，AI智能体（Agent）有望成为下一代平台当下多模态大模型不仅仅是学界新宠，也是未来行业发展进步的一大方向，站在这篇综述的基础之上，期待我们可以更快更好的理解未来多模态大模型的发展，赶上这波通用人工智能的新浪潮！
综述 | 多模态 LLM，大模型的未来
idol24的博客
01-31 1545
本文来源 机器之心编辑部多模态大型语言模型进展如何？盘点 26 个当前最佳多模态大型语言模型。当前 AI 领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让 LLM 具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题。近日，腾讯 AI Lab、京都大学和穆罕默德・本・扎耶德人工智能大学的一个研究团队发布了一份综述报告，全面梳理了 MM-LLM 的近期进展...
腾讯多模态大模型最新综述，从26个主流大模型看多模态效果提升关键方法
weixin_43564920的博客
01-29 5315
在腾讯 2024 数字科技前沿应用趋势中，强调了“通用人工智能渐行渐近，大模型走向多模态，AI智能体（Agent）有望成为下一代平台当下多模态大模型不仅仅是学界新宠，也是未来行业发展进步的一大方向，站在这篇综述的基础之上，期待我们可以更快更好的理解未来多模态大模型的发展，赶上这波通用人工智能的新浪潮！
【LLM】多模态LLM综述MultiModal Large Language Models
发现问题，并解决问题，批判性思维
06-02 3852
note （一）现有的 MM-LLM 的趋势： (1)从专门强调 MM 理解对特定模态的生成的进展，并进一步演变为任何到任何模态的转换（例如，MiniGPT-4 → MiniGPT-5 → NExT-GPT）； (2) 从 MM PT 提升到 SFT，然后到 RLHF，训练管道进行连续细化，努力更好地与人类意图对齐并提高模型的会话交互能力（例如，BLIP-2 → InstructBLIP →DRESS）； (3) 实施多样化模态扩展（例如，BLIP-2 → X-LLM 和 InstructBLIP→X-In
阅读笔记-MM-LLMs: Recent Advances in MultiModal Large Language Models
Yale的博客
03-05 706
此外，文章还探讨了MM-LLMs的未来发展，包括模型的增强、更具挑战性的基准测试、移动/轻量级部署、具身智能和持续学习等方向。为了解决这一问题，研究者们开始利用现有的预训练单模态基础模型，特别是强大的大型语言模型（LLMs），以成本效益高的训练策略来增强多模态输入或输出的支持。此外，文章回顾了选定的MM-LLMs在主流基准测试上的性能，并总结了关键的训练配方以增强MM-LLMs的效能。此外，传统的训练流程仅包括预训练（PT）阶段，而没有包含指令微调（IT）阶段，限制了模型的灵活性和适应性。
BERT预训练
weixin_73557167的博客
05-06 1032
BERT预训练
图上思维：基于知识图的大型语言模型的深层可靠推理
最新发布
m0_63444889的博客
05-09 611
大型语言模型（LLM）（Ouyang等人，2022年;OpenAI，2023年;Thoppilan等人，2022;Brown等人，2020年a;乔杜里等人，2022年;Touvron等人，2023）在各种自然语言处理任务中表现出了卓越的性能。这些模型利用应用于大量文本语料库的预训练技术来生成连贯且上下文适当的响应。尽管LLM具有令人印象深刻的性能，但它们在面对复杂的知识推理任务时具有实质性的局限性（Petroni等人，2021年;Talmor等人，2019年;Talmor & Berant，2018年;
在自然语言处理任务中，像 BERT 这样的模型会在输入前自动加上一些特殊token
陈开心的博客
05-09 253
BERT 是一个自然语言理解模型。你可以把它想象成一个超级聪明的“语言理解机器人”。理解这句话的意思；告诉你哪个词是实体（人名、地名）；判断两个句子是不是一个意思，等等。Token 就是把一句话拆成一个个小块的结果。我爱北京天安门模型不能直接理解汉字或词语，所以会先用分词器（Tokenizer）把它切成 token["我", "爱", "北京", "天", "安", "门"]这些 token 就是模型处理的最小单位。举个例子，我们想让模型识别句子中的地名：我爱北京天安门。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值