(五十一)：Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal S

已于 2023-06-28 22:25:47 修改
阅读量290 收藏
点赞数 1
分类专栏： “情感分析”研究方向论文-精读总结 文章标签： 深度学习 机器学习 多模态
于 2021-09-16 16:44:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37486501/article/details/120233329
版权
本文提出一种名为MMIM的多模态信息融合框架，用于多模态情感分析，通过层次最大化单模态输入与融合结果间的互信息。此框架解决了现有方法在多模态融合中信息流控制不足的问题，通过多模态融合保留任务相关的信息，提高下游任务性能。实验证明，MMIM在多模态情感分析任务上表现出优越或可比的性能。
摘要由CSDN通过智能技术生成

（五十一）:Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment Analysis

  • 出处：Accepted as a long paper at EMNLP 2021
  • 代码： https://github.com/ declare-lab/Multimodal-Infomax.
  • 题目：改进的多模态情感分析的层次互信息最大化多模态融合
  • 主要内容：第一次将MI和MSA关联。提出了一个MMIM框架，该框架层次最大化了单模态输入对(inter-modality)中的互信息(MI)以及多模态融合结果与单模态输入之间的互信息(MI)。

Abstract

在多模态情感分析(MSA)中，模型的性能在很大程度上取决于综合嵌入的质量。这些嵌入是由称为多模态融合的上游过程生成的，该过程旨在提取并结合输入的单模态原始数据，以产生更丰富的多模态表示。
以往的工作要么反向传播任务损失，要么运用特征空间的几何特性，以产生良好的融合结果，忽略了从输入到融合结果的关键任务相关信息的保存。
在本文中，我们提出了一个名为MultiModal InfoMax (MMIM)的框架，该框架：层次最大化了单模态输入对(inter-modality)中的互信息(MI)以及多模态融合结果与单模态输入之间的互信息(MI)，以便通过多模态融合来维护与任务相关的信息。

  1. 框架与主要任务(
了解本专栏 订阅专栏 解锁全文
Laura_Wangzx
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
(五十一)：Improving Multimodal Fusion with Hierarchical MI Maximization for MSA组内汇报PPT
Wangzx的博客
09-17 261
(五十一)：Improving Multimodal Fusion with Hierarchical MI Maximization for MSA组内汇报PPT
论文笔记 EMNLP 2021|Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for
o11oo11o的博客
04-23 3874
文章目录1 简介1.1 动机1.2 创新2 方法2.1 模态编码2.2 模态中互信息最大化2.3 融合中互信息最大化3 实验 1 简介 论文题目：Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment Analysis 论文来源：EMNLP 2021 组织机构：新加坡科技设计大学 论文链接：https://arxiv.org/pdf/2109.00412.
推荐文章：利用MultiModal-InfoMax提升多模态融合效果
最新发布
gitblog_00033的博客
06-13 309
推荐文章：利用MultiModal-InfoMax提升多模态融合效果 Multimodal-Infomax项目地址:https://gitcode.com/gh_mirrors/mu/Multimodal-Infomax 在这个数字化时代，多模态信息处理正变得越来越重要，特别是在情感分析和智能交互领域。为此，我们向您推荐一个创新的开源项目——MultiModal-InfoMax，这个项目源自于在...
Improving Multimodal Fusion with Hierarchical Mutual InformationMaximization for Multimodal Sentimen
weixin_44691087的博客
10-07 2402
Improving Multimodal Fusion with Hierarchical Mutual InformationMaximization for Multimodal Sentiment Analysis paper地址：https://arxiv.org/abs/2109.00412 摘要 在多模态情绪分析(MSA)中，模型的性能很大程度上依赖于合成embedding的质量. 这些embedding是由被称为多模态融合的上游过程生成的，其目的是提取和组合输入的单模态原始数据，以产生更丰富的
计算机视觉论文-2021-03-10
中科院AI算法工程师的博客
03-10 5082
本专栏是计算机视觉方向论文收集积累，时间：2021年3月9日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Selective Replay Enhances Learning in Online Continual Analogical Reasoning AUTHORS: Tyler L. Hayes ; Christopher Kan...
Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentime
popoluoluo的博客
10-24 144
X表示文本，图像，语音（t，v，a）三种输入模态，Lm是每种输入模态系列长度，dm是特征向量维度。本文目标是由输入x预测输出y，y能够反映出情绪强度1.CPC编码没看懂2.互信息加个负号就是损失函数？（9）
2020 IJCAI 接受论文 list 分类排列（二）
热门推荐
u014546828的博客
08-23 2万+
2020 IJCAI 接受论文 list 分类排列（一） 2020 IJCAI 接受论文 list 分类排列（二） 2020 IJCAI 接受论文 list 分类排列（三） 目录 Main track (Humans and AI) Main track (Knowledge Representation and Reasoning) Main track (Machine Learning) Main track (Machine Learning Applications) Mai.
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7155
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
EMNLP'21中预训练模型最新研究进展
zenRRan的博客
09-30 2249
每天给你送来NLP技术干货！© 作者｜周昆机构｜中国人民大学信息学院研究方向｜序列表示学习与应用来自 |RUC AI Box导读EMNLP 2021是人工智能领域自然语言处理（ Natu...
（二十一）详细讲解：基于深度记忆网络的方面级情感分类
Wangzx的博客
05-12 7358
文献阅读（二十一）讲解论文导读及任务背景：泛读：论文总览及模型结构：论文精读：论文算法模型总览论文算法模型的细节1——向量转换、计算层论文算法模型的细节2——注意力实验设置及结果分析实验分析：相关工作论文总结：代码实现分析： 学习目标： 论文导读及任务背景： 传统的情感分析（SA）主要是面向文档或者句子，也就是文档层面的情感分类（document-level sentiment classification），这种粗粒度的分类只考虑文档整体的情感倾向性（sentiment polarity），在现实应
（十二）：多模态的情感分析技术综述
Wangzx的博客
04-22 3012
文献阅读（十二）：多模态的情感分析技术综述摘要引言1. 多模态情感分析数据集2. 单模态的情感分析算法3. 多模态情感分析技术以及现有的模态融合技术4. 总结和展望 摘要 主要内容： 多模态情感分析的基本概念以及研究现状简要介绍。 总结了常用的多模态情感分析数据集。 然后分别对现有的基于面部表情信息、文本信息和语音信息的单模态情感分析技术进行简要叙述 介绍了模态融合技术，并依据不同的模态融合方式对多模态情感分析技术的现有成果进行重点描述 讨论了多模态情感分析存在的问题以及未来的发展方向。 引言 在基于深
（三十）：基于交互注意力机制的多模态情感识别算法_姚懿秦
Wangzx的博客
08-17 1920
（三十）：Sentiment analysis in textual, visual and multimodal inputs using recurrent neural networks一级目录二级目录三级目录 一级目录 二级目录 三级目录
（十八）：基于图文融合的情感分析研究综述
Wangzx的博客
05-09 1914
文献阅读（十八）：基于图文融合的情感分析研究综述1 图文情感分析数据库2 文本及图片的情感分析2.1 文本情感分析2.2 图片情感分析3 图文特征融合3.1 特征层融合（Baseline）4 总结与展望 主要内容：包含情感分析数据库；融合的Baseline参考文献；挑战：将两个模态信息互相补充、互为印证，进而建立更完善的图文融合情感分析模型。研究图片与文本二者的相关性与异性，提升情感分析的准确率。 1 图文情感分析数据库 1.1 Flickr 数据集 1.2 VCGI及 VCGII数据集 1.3 MVS
（四十）：多模态经典Baseline之Tensor Fusion Network for Multimodal Sentiment Analysis
Wangzx的博客
07-29 1861
（四十）：多模态经典Baseline之Tensor Fusion Network for Multimodal Sentiment Analysis摘要1 Introduction2 Related Work3 CMU-MOSI Dataset4 Tensor Fusion Network4.1 Modality Embedding Subnetworks模态嵌入子网络Spoken Language Embedding Subnetwork语音嵌入子网:Visual Embedding Subnetwork
（三）：基于深度学习的文本分类综述
Wangzx的博客
03-18 1847
文献阅读（三）：Deep Learning Based Text Classification A Comprehensive ReviewAbstract1 INTRODUCTION1.1 Text Classification Tasks1.2 Paper Structure2 DEEP LEARNING MODELS FOR TEXT CLASSIFICATION用于文本分类的深度学习模型2.1 Feed-Forward Neural Networks前馈神经网络2.2 RNN-Based Model
（十一）：多模态深度学习综述
Wangzx的博客
04-20 1829
文献阅读（十）：多模态深度学习综述摘要引言1. 模态表示1.1 单模态表示（语句模态表示、视觉模态表示）2. 模态传译3. 模态融合4. 模态对齐4.1 注意力对齐4.2 语义对齐5. 实际多模态系统——应用6. 国内外多模态深度学习公用数据集7. 多模态深度学习的发展方向8. 结束语 摘要 多模态深度学习实现过程中的共有问题分为： 模态表示、模态传译、模态融合和模态对齐四类，并对各类问题进行子分类和论述，同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集
multimodal transformer代码
07-25
引用\[2\]:论文名称：Improving Multimodal Named Entity Recognition via Entity Span Detection with Unified Multimodal Transformer 论文作者：Jianfei Yu, Jing Jiang, Li Yang, Rui Xia 论文地址：2020.acl-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值