《深入浅出多模态》（一）：多模态模型论文最全总结

置顶 已于 2024-03-20 01:51:07 修改
阅读量1.5k 收藏 25
点赞数 29
分类专栏： 深入浅出多模态 深度学习 文章标签： 多模态 大模型 深度学习 人工智能
于 2024-01-24 18:37:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36816848/article/details/135794758
版权

在这里插入图片描述

🎉AI学习星球推荐： GoAI的学习社区 知识星球是一个致力于提供《机器学习 | 深度学习 | CV | NLP | 大模型 | 多模态 | AIGC 》各个最新AI方向综述、论文等成体系的学习资料，配有全面而有深度的专栏内容，包括不限于 前沿论文解读、资料共享、行业最新动态以、实践教程、求职相关（简历撰写技巧、面经资料与心得）多方面综合学习平台，强烈推荐AI小白及AI爱好者学习，性价比非常高！加入星球➡️点击链接

✨专栏介绍： 本作者推出全新系列《深入浅出多模态》专栏，具体章节如导图所示（导图后续更新），将分别从各个多模态模型的概念、经典模型、创新点、论文综述、发展方向、数据集等各种角度展开详细介绍，欢迎大家关注。
💙作者主页:

了解本专栏 订阅专栏 解锁全文 超级会员免费看
GoAI
关注
  • 29
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
多模态融合新方向！21篇2024年最新顶会论文汇总！（附PDF）
2401_82426425的博客
01-30 3629
为应对这一问题，研究人员提出了一种新算法，旨在减少多模态数据集中的表征和关联偏见，分析考虑了模型、表征和训练数据大小等因素，并发现微调对抗表征偏见有效，但对关联偏见影响有限。本文提出了一种创新的标签对齐方法LAMM，通过端到端训练动态调整下游数据集的类别嵌入，并采用分层损失，包括参数空间、特征空间和对数空间的对齐，以改善标签分布。本文提出了一种集成视觉语言模型CLIP的多任务学习框架，该模型具有强大的零样本泛化能力，并开发了多模态对齐提示（MmAP），研究人员在微调过程中对齐文本和视觉模态。
CPVR2022论文解析PPT：DeepFusion 多模态融合3D目标检测模型论文解析
05-02
这篇论文展示了如何高效融合雷达和图像数据，展示了特征对齐对于模态融合的重要性。但是特征对齐是一项挑战，为此我们提出了两种技术InverseAug,LearnableAlign来获得高效的特征对齐的效果。并且这两种技术是通用、...
多模态大模型论文总结
03-20 652
多模态大模型近期论文摘要汇总
分享一篇多模态大模型综述论文
ytt0523_com的博客
04-17 1114
前面介绍了[大语言模型（Large Language Models, LLMs）的技术原理和应用]，LLM属于Foundation model一种，除了LLM外，Foundation model还包括视觉大模型（Large Vision Models），和多模态大模型（Large Multimodal Models）。
多模态深度学习综述总结 与 目标检测多模态融合领域论文推荐
AI训练师中的点滴
01-19 8802
模态定位为某种类型的信息，如声音、图像、文字等。人们生活在一个多模态相互交融的环境中，生活中的各项决策都考虑了至少两种方面的信息。对单模态信息的学习上，每种模态的异构性决定了其存在不同的学习模型。虽然单模态学习在如今已经取得了显著的进步，在图像单模态的目标检测，文字识别领域等实现了较高的准确率，但是在一些其他领域：例如视频检索、图像语义理解等方面，单模态难以进行处理。
综述论文 | 多模态视觉大模型
idol24的博客
11-15 176
Vision-Language Instruction Tuning: A Review and Analysishttps://arxiv.org/pdf/2311.08172.pdfhttps://github.com/palchenli/VL-Instruction-Tuning指令调优是大型语言模型（LLMs）的一个重要的有监督训练阶段，旨在增强LLMs执行指令和适应用户偏好的能力。随着多...
多模态综述阅读总结
qq_44609058的博客
03-13 2566
多模态任务挑战：表示、翻译、对齐、融合、协同学习。 (1)多模态表示：联合（joint）、协作（coordinated） 联合表示（又称单塔模型）：通过将单模态用函数进行投射到同一多模态表示空间。公式：xm=f(x1,x2,......,xn)。主要用于：在训练和推理过程中都存在多模态数据的任务中。最简单的例子为单个模态的串联（又称早起融合）。 该论文分析了从神经网络、图形模型、递归神经网络等方面创建联合表示。 基于神经网络的联合表示：每个模态从几个单独的神经层开始，然后通过一个隐藏...
10篇多模态融合优秀论文汇总，看最新研究成果！
2401_82426425的博客
01-09 2502
简述：本文提出了一种多模态、模态不可知的融合变换器方法，该方法学会在多个模态之间交换信息，如视频、音频和文本，并将它们整合到一个联合的多模态表示中，以获得一个汇聚多模态时序信息的嵌入。简述：在本文中，从文献角度审视了现有基于多种模式的自主驱动的认知任务方法，详细分析了50多份文件，利用包括LIDAR和照相机在内的感知传感器试图解决物体探测和语义分解任务，不同于传统的对聚合模型进行分类的聚合方法，文中提出了一种创新方法，将它们分为两大类和四个小类，从聚化阶段来看，以更合理的分类法划分为四个小类。
万字综述！从21篇最新论文看多模态预训练模型研究进展
Paper weekly
11-07 1773
©作者 | 杨浩单位 | 阿里达摩院研究方向 | 自然语言处理背景在传统的 NLP 单模态领域，表示学习的发展已经较为完善，而在多模态领域，由于高质量有标注多模态数据较少，因此人们希望能使...
基于中文LLaMA&Alpaca大模型项目开发的多模态中文大模型
11-12
Visual-Chinese-LLaMA-Alpaca（VisualCLA）是基于中文LLaMA&Alpaca大模型项目开发的多模态中文大模型。VisualCLA在中文LLaMA/Alpaca模型上增加了图像编码等模块，使LLaMA模型可以接收视觉信息。在此基础上，使用了...
基于 mPLUG 模块化的多模态大语言模型
11-12
基于 mPLUG 模块化的多模态大语言模型
基于多模态融合的三维模型检索算法研究
04-30
为了获得更好的三维模型检索分类性能，基于深度学习模型研究了多模态信息融合对三维模型的特征描述，在训练步骤提出相关性损失函数来指导不同模态之间的训练，提取更稳健的特征向量；最后将融合特征应用于三维模型的...
人工智能行业专题报告：多模态AI研究框架
最新发布
06-10
1、AI模型从单模态向多模态演进，未来有望实现认知智能： AI模型走向多模态必然性的三大因素：跨模态任务需求 + 跨模态数据融合 + 对人类认知能力的模拟。 2、多模态 AI 融合多种数据，可大幅延伸应用场景： 多模态 ...
十篇最新经典多模态论文梳理
zenRRan的博客
04-28 4125
知乎：mathfinder职位：字节跳动算法工程师链接：https://zhuanlan.zhihu.com/p/614964205一些思考写在前面训练任务有ITC（图像文本对比学习），ITM（图像文本匹配），MLM（Maked Language Modeling，有时会扩展到MIM），LM（Language Modeling，大部分可以看作是captioning）。然后选其中1到3个作为训练Lo...
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 1590
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
多模态学习方法综述（期刊论文）
hello
10-10 6337
期刊：工程科学学报引用：陈鹏,李擎,张德政,杨宇航,蔡铮,陆子怡.多模态学习方法综述[J/OL].工程科学学报:1-13[2020-05-18].https://doi-org-443.wvpn.hrbeu.edu.cn/10.13374/j.issn2095-9389.2019.03.21.003.摘要：大数据是多源异构的。在信息技术飞速发展的今天，多模态数据已成为近来数据资源的主要形式。研究多模态 学习方法，赋予计算机理解多源异构海量数据的能力具有重要价值。本文归纳了多模态的定义与多模态学习的基本任 务
AI综述专栏 | 多模态学习研究进展综述
喜欢打酱油的老鸟
06-29 7783
https://www.toutiao.com/a6703774252220285443/ AI综述专栏 在科学研究中，从方法论上来讲，都应先见森林，再见树木。当前，人工智能科技迅猛发展，万木争荣，更应系统梳理脉络。为此，我们特别精选国内外优秀的综述论文，开辟“综述”专栏，敬请关注。 作者简介 许倩倩，中科院计算所智能信息处理重点实验室副研究员，主要研究方向是多媒体内容分析、数...
多模态机器学习综述翻译(转载)
热门推荐
hello
10-08 2万+
文章：《Multimodal Machine Learning: A Survey and Taxonomy》多模态机器学习综述【摘要】我们对世界的体验是多模式的 - 我们看到物体，听到声音，感觉到纹理，闻到气味和尝到味道。模态是指某种事物发生或经历的方式，并且当研究问题包括多种这样的形式时，研究问题被描述为多模态。为了使人工智能在理解我们周围的世界方面取得进展，它需要能够一起解释这种多模信号。多模式机器学习旨在构建可以处理和关联来自多种模态信息的模型。这是一个充满活力的多学科领域，具有越来越重要的意义和非
查找多模态情感识别的论文
02-21
很高兴为您提供帮助。近年来，关于多模态情感识别的论文有很多，例如《基于多模态识别的情感建模》（A. Guney， S. Ozkan， S. Yagcioglu，2016），《基于多模态情感分析的影评研究》（M. W. S. Lee， M. K. Mohd， S. H. Lim，2017），《多模态语义分析的情感分类》（A. P. Uysal， A. K. S. Sert， S. S. Uysal， 2017），《基于深度学习的多模态情感分类》（M. Lu， H. Wu， Z. Zhang， 2018）等等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GoAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值