分享一篇多模态大模型综述论文

最新推荐文章于 2025-02-03 15:45:55 发布
最新推荐文章于 2025-02-03 15:45:55 发布
阅读量497 收藏 5
点赞数 4
文章标签： 人工智能 智能手机 自然语言处理 pdf 产品经理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_59191169/article/details/140155791
版权

前面介绍了大语言模型（Large Language Models, LLMs）的技术原理和应用，LLM属于Foundation model一种，除了LLM外，Foundation model还包括视觉大模型（Large Vision Models），和多模态大模型（Large Multimodal Models）。

目前比较火的文生图大模型Stable Diffusion，DALL-E、文生视频大模型Sora，图文检索，视觉内容生成都属于多模态大模型范畴，今天给大家推荐一篇多模态大模型的综述论文，后续还会推出视觉大模型论文，请持续关注。

以下是文档内容的思维导图概括：

- 多模态基础模型

- 定义和背景

\- 多模态基础模型的重要性

\- 从专家模型到通用助手的过渡

- 研究领域

\- 视觉理解

  \- 监督预训练

  \- 对比学习

  \- 自监督学习

\- 视觉生成

  \- 文本到图像的生成

  \- 空间可控生成

  \- 文本提示遵循

  \- 概念定制

\- 统一视觉模型

  \- 从封闭集到开放集模型

  \- 任务特定模型到通用模型

  \- 从静态到可提示模型

- 大型多模态模型

\- 背景

\- 预训练指导

\- 多模态大型模型案例研究

\- 多模态代理的先进话题

- 多模态代理

\- 多模态代理的概述

\- 多模态代理的案例研究: MM-REACT

\- 多模态代理的先进话题

\- 多模态代理的评估

- 总结和研究趋势

\- 总结

\- 通用AI代理的构建

上图阐述了多模态大模型试图解决的三个代表性问题：视觉理解任务、视觉生成任务，以及具有语言理解和生成能力通用接口。

上图描述了基础模型在语言和视觉/多模态领域的发展趋势，指出了从专门模型向通用助手演进的趋势，并强调了需要进一步研究来确定如何最佳地实现这一转变。

整篇论文章节内容结构

视觉理解总结

大语言模型的发展除了算力，数据因素外，也离不开模型架构的发展，Transformer是语言大模型的基础，在CV领域，ViT则是视觉大模型的基础。

视觉内容生成总结

图像生成大事件年表

GANs擅长于生成与训练集中的图像非常相似的逼真图像，VAEs擅长于创建各种各样的图像，现有的模型还没有成功地将这两种功能结合起来，直到****Stable Diffusion的出现，它融合了GAN和VAE的优点，能生成真实且多样的图片。

CLIP是将语言和图像映射到统一嵌入空间的开山之作，是多模态大模型的基础。

BeiT，MAE，IGPT开启了图像预训练时代，CV中的BERT。

多模态大模型研究综述
人工智能讲师分享前沿技术
10-22 1391
人工智能咨询培训老师叶梓 转载标明出处尽管LLMs在自然语言处理（NLP）任务上表现出色，但它们在视觉方面是“盲”的，即只能理解离散的文本信息。与此同时，大型视觉模型（LVMs）虽然在视觉识别上表现出色，但在推理方面通常不如LLMs。MLLM的出现，正是为了结合LLM和LVM的优势，实现对多模态信息的接收、推理和输出。
三篇多模态大模型进展综述
liangdaojun的博客
04-28 1347
MLLM 的相关研究课题，包括多模态幻觉、多模态上下文学习（Multimodal In-Context Learning，M-ICL）、多模态思维链（Multimodal Chain of Thought，M-CoT）、LLM 辅助的视觉推理（LLM-Aided Visual Reasoning，LAVR）。相比于以往的多模态方法，例如以 CLIP 为代表的判别式，或以 OFA 为代表的生成式，新兴的 MLLM 展现出一些典型的特质：（1）模型大。（2）新的训练范式。
大模型综述来了！一文带你理清全球AI巨头的大模型进化史
夕小瑶科技说
05-16 7394
大模型的训练数据包括书籍、文章、网站信息、代码信息等等，这些数据输入到大模型中的目的，实质在于全面准确的反应“人类”这个东西，通过告诉大模型单词、语法、句法和语义的信息，让模型获得识别上下文并生成连贯响应的能力，以捕捉人类的知识、语言、文化等等方面。：不夸张的说，GPT-4 的算术与推理判断的能力超过了以往的任何模型，在 GSM8k、SVAMP 和 AQuA 上大模型都具有突破性的能力，值得指出的是，通过思维链（CoT）的提示方式，可以显著的增强 LLMs 的计算能力；
论文导读 | 综述：大模型与推荐系统
人工智能讲师分享前沿技术
07-05 2138
最近，预训练语言模型（PLM）在自然语言处理领域取得了巨大成功，并逐渐引入推荐系统领域。本篇推文介绍了最近的两篇预训练语言模型和推荐系统结合的综述：[1] Pre-train, Prompt, and Recommendation: A Comprehensive Survey of Language Modeling Paradigm Adaptations in Recommender Systems[2] Foundation Models for Recommender Systems: A Sur
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 5467
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
一篇大模型Agent的全面综述
m0_59235245的博客
08-20 961
一直以来，人们都在追求能够达到或超越人类水平的人工智能，AI Agent目前被视为能够实现这一目标的有前途的载体。Agent是能够感知环境、做出决策并采取行动的智能体。本文会对基于LLM的Agent做一个全面概述，包括为什么LLM适合作为Agent的基础，以及包含三个主要组成部分：大脑（brain）、感知（perception）和行动（action）的框架，并可以根据不同的应用进行定制。。
论文干货 | 首篇大模型压缩论文综述
qq_45832461的博客
10-22 1553
来自中国科学院和人民大学的研究者们深入探讨了基于LLM的模型压缩研究进展并发表了该领域的首篇综述《A Survey on Model Compression for Large Language Models》。
两篇多模态大模型综述论文
10-21
两篇综述论文不仅为我们展示了多模态大模型的最新研究成果和应用前景，同时也指出了在这一领域未来需要解决的重要问题。通过对这些关键问题的深入研究，我们可以期待多模态大模型将在未来的智能技术领域中扮演更加...
【多模态大模型综述】【中文精细翻译】Multimodal Foundation Models
09-25
【多模态大模型综述】是一篇由微软7位华人研究员共同编写的深度报告，总计119页，详细探讨了多模态基础模型的最新进展和未来趋势。这篇报告由GPT3.5精细翻译，内容涵盖图片和文本，展示了多模态研究的广阔视野。报告...
【论文解读】多模态大语言模型综述
INTSIG的博客
03-12 3743
本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，论文提出了MLLM的公式，并描述了它的相关概念。然后，论文讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和LLM辅助视觉推理（LAVR）。最后，论文讨论了现有的挑战，并指出了很有前景的研究方向。鉴于MLLM的时代才刚刚开始，作者将继续更新这项调查，并希望它能激发更多的研究。
大模型综述论文笔记6-15
Ives_WangShen的博客
08-31 1270
code。
系统学习大模型的20篇论文
我相信......
05-21 2213
【引子】“脚踏实地，仰望星空”， 知其然还要知其所以然。读论文是一条重要的途径，这一篇文章https://magazine.sebastianraschka.com/p/understanding-large-language-models非常值得借鉴，不敢私藏，编译成文。大型语言模型已经成为公众关注的焦点，这几乎彻底改变了自然语言处理领域，甚至是在过去的五年中，大型语言模型中的transform...
大模型~综述1
whaosoft143ai的博客
11-22 1309
PyMT5 (Clement et al., 2020) 和 Mastropaolo et al. (2021) 在代码语料库上重复了 T5 的预训练和多任务微调过程，而 Ahmad et al. (2021) 则提出了 PLBART，这是在 655GB 的 Java、Python 和自然语言组合数据上预训练的 BART 模型。Ren et al. (2020) 则提出了 CodeBLUE，这是 BLEU 的一种变体，其评估的是抽象语法树（AST）和数据流的重叠范围，可兼顾代码的句法和语义。whaosoft
大模型综述一镜到底（全文八万字） ——《Large Language Models: A Survey》
最新发布
进一步有进一步的欢喜~
02-03 2506
自2022年11月ChatGPT发布以来，大语言模型（LLMs）因其在广泛的自然语言任务上的强大性能而备受关注。正如缩放定律所预测的那样，大语言模型通过在大量文本数据上训练数十亿个模型参数来获得通用语言理解和生成能力。大语言模型的研究领域虽然非常新，但在许多不同方面都在迅速发展。在本文中，我们回顾了一些最杰出的大语言模型，包括三个流行的大语言模型家族（GPT、LLaMA、PaLM），讨论了它们的特点、贡献和局限性。我们还概述了为构建和增强大语言模型而开发的技术。然后，我们调查了为大语言模型训练、微调和评估准
论文干货 | 首篇代码生成大模型综述
qq_45832461的博客
11-17 5116
全网首篇最全面透彻的代码生成大模型论文综述的详解。分享一篇来自上海交通大学的最新代码生成大模型的论文综述。系统回顾了使用语言模型处理代码的最新进展，涵盖 50 多种模型、30 多种评估任务和 500 多项相关工作。将代码处理模型分为以 GPT 系列为代表的通用语言模型和根据特定目标对代码进行预训练的专用模型。讨论代码建模从统计模型和 RNN 到预训练 Transformers 和 LLM 的历史过渡，这与 NLP 的发展历程类似。
大模型在持续学习中的最新进展：综述
人工智能学家
06-10 206
来源：专知近年来，基础语言模型（LMs）在自然语言处理（NLP）和计算机视觉（CV）领域取得了显著成就。与传统神经网络模型不同，基础语言模型通过在大量无监督数据集上进行预训练，获得了丰富的常识知识，并且具有强大的迁移学习能力。然而，由于灾难性遗忘，基础语言模型仍然无法模拟人类的持续学习能力。因此，各种基于持续学习（CL）的方法被开发出来，以改进语言模型，使其能够在适应新任务的同时不遗忘以前的知识。...
多模态预训练大模型调研综述
CV_Autobot的博客
07-19 499
编辑| 极市平台点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【大模型】技术交流群本文只做学术分享，如有侵权，联系删文导读本文对大规模多模态预训练模型 (MM-PTMs) 进行了全面回顾。本篇文章为大家介绍一篇发表在MIR期刊的多模态大模型综述论文：Xiao Wang, Guangyao Chen, Guangwu Qian, Pengcheng G...
大模型论文总结-20241004期
程序员石磊
10-04 2529
本文章由本人开发的论文总结AI Agent进行整理。项目地址:https://github.com/zhangleino1/paper-summarizer。
19篇论文速览大模型微调技术进展与热门方法
学姐带你玩AI的博客
08-31 4878
大模型微调是机器学习中的一项重要技术，旨在帮助我们降低成本，进一步提高模型的性能。具体来说，大模型微调指的是在现有预训练模型的基础上，根据特定任务数据进行微调，以适应任务的特定需求，以便我们更好地解决各种实际问题。目前较为流行的大模型微调技术是，只对部分的参数进行训练，主要有Prompt Tuning、Prefix Tuning、LoRA、QLoRA等方法。论文原文及开源代码照例已打包，看文末直接领取。
大模型技术进化论:多模态大模型综述 pdf
12-15
《大模型技术进化论：多模态大模型综述》是一篇系统阐述多模态大模型技术进化的综述性论文。多模态大模型是指通过整合多种不同的数据形式和类型，构建出更复杂、更完整的模型，以提高模型的表现和性能。 该论文首先...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值