Multimodal Sentiment Analysis论文汇总

已于 2023-03-24 16:52:36 修改
阅读量2.6k 收藏 64
点赞数 16
分类专栏： 多模态情绪分析 文章标签： 深度学习 人工智能
于 2023-03-24 16:52:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48432468/article/details/129754215
版权
近年来，多模态情绪分析领域的研究日益活跃，主要集中在Transformer架构的改进、跨模态学习、模态缺失处理和预训练模型的优化。这些工作旨在提升模型在文本、音频和视觉数据融合分析中的性能，特别是在情感识别和理解方面。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

多模态情绪分析论文

YearTitleNetworkPublishPaperCodeRead
2019Multimodal Transformer for Unaligned Multimodal Language SequencesMulTACLlinklink√
2020CM-BERT: Cross-Modal BERT for Text-Audio Sentiment AnalysisCM-BERTACM MMlinklink√
2020Integrating Multimodal Information in Large Pretrained TransformersMAGACLlinklink√
2020MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment AnalysisMISAACM MMlinklink√
2021Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment AnalysisBBFNICMIlinklink
2021CTNet: Conversational Transformer Network for Emotion RecognitionCTNetIEEE-ACM T AUDIO SPElink-
2021Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal Sentiment AnalysisHyConUnder Reviewlink-√
2021Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment AnalysisMMIMEMNLPlinklink
2021Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment AnalysisSelf-MMAAAIlinklink√
2021MSAF: Multimodal Split Attention FusionMSAFUnder Reviewlink-√
2022AMOA: Global Acoustic Feature Enhanced Modal-Order-Aware Network for Multimodal Sentiment AnalysisAMOACOLINGlink-√
2022BAFN: Bi-direction Attention based Fusion Network for Multimodal Sentiment AnalysisBAFNTCSVTlink-
2022CLMLF:A Contrastive Learning and Multi-Layer Fusion Method for Multimodal Sentiment DetectionCLMLFNAACLlinklink
2022Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment AnalysisCLUEACM MMlinklink√
2022CubeMLP: An MLP-based Model for Multimodal Sentiment Analysis and Depression EstimationCubeMLPACM MMlink-√
2022Disentangled Representation Learning for Multimodal Emotion RecognitionFDMERACM MMlink-
2022Dynamically Adjust Word Representations Using Unaligned Multimodal InformationCHFNACM MMlink-
2022EmoCaps: Emotion Capsule based Model for Conversational Emotion RecognitionEmoCapsACLlink-√
2022FEW-SHOT MULTIMODAL SENTIMENT ANALYSIS BASED ON MULTIMODAL PROBABILISTIC FUSION PROMPTSMultiPointUnder Reviewlinklink
2022Leveraging Multi-modal Interactions among the Intermediate Representations of Deep Transformers for Emotion RecognitionRILAACM MMlink-
2022M-SENA: An Integrated Platform for Multimodal Sentiment AnalysisM-SENAACLlinklink√
2022Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment AnalysisMMCLEMNLPlink-
2022Multimodal Information Bottleneck: Learning Minimal Sufficient Unimodal and Multimodal RepresentationsMIBTMMlinklink
2022MULTIMODAL SENTIMENT ANALYSIS ON UNALIGNED SEQUENCES VIA HOLOGRAPHIC EMBEDDINGHEMTICASSPlink-
2022Multimodal Temporal Attention in Sentiment AnalysisMMTAACM MMlink-
2022TVLT: Textless Vision-Language TransformerTVLTNeurIPSlinklink√
2022Unified Multi-modal Pre-training for Few-shot Sentiment Analysis with Prompt-based LearningUP-MPFACM MMlinklink√
2022UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion RecognitionUniMSEEMNLPlinklink√
2023A Deep Multi-level Attentive Network for Multimodal Sentiment AnalysisDMLANetACM MMlink-
2023PS-Mixer: A Polar-Vector and Strength-Vector Mixer Model for Multimodal Sentiment AnalysisPS-MixerIPMlinklink

多模态情绪分析模态缺失论文

YearTitleNetworkPublishPaperCodeRead
2021CTFN: Hierarchical Learning for Multimodal Sentiment Analysis Using Coupled-Translation Fusion NetworkCTFNACLlinklink√
2021Missing Modality Imagination Network for Emotion Recognition with Uncertain Missing ModalitiesMMINACLlinklink√
2021Transformer-based Feature Reconstruction Network for Robust Multimodal Sentiment AnalysisTFR-NetACM MMlinklink√
2022Analyzing Modality Robustness in Multimodal Sentiment Analysis-NAACLlinklink√
2022Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment AnalysisEMT-DLFRUnder Reviewlink-
2022EXPLOITING MODALITY-INVARIANT FEATURE FOR ROBUST MULTIMODAL EMOTION RECOGNITION WITH MISSING MODALITIESIF-MMICASSPlinklink√
2022Mitigating Inconsistencies in Multimodal Sentiment Analysis under Uncertain Missing ModalitiesEMMREMNLPlinklink√
2022MM-Align: Learning Optimal Transport-based Alignment Dynamics for Fast and Accurate Inference on Missing Modality SequencesMM-AlignEMNLPlinklink√
2022Robust Multimodal Sentiment Analysis via Tag Encoding of Uncertain Missing ModalitiesTATETMMlinklink√
2023GCNet: Graph Completion Network for Incomplete Multimodal Learning in ConversationGCNetTPAMIlinklink√
LaTeX排版论文的常见问题汇总（持续更新中）
自己在学习过程中的总结
03-04 2952
如何上传期刊或会议提供的LaTeX模板？模板中各文件的说明？LaTeX中如何设置字体大小？如何设置表格中的字体大小？如何设置表格、图片标题的字体大小？LaTeX设置字体大小命令（由小到大）？LaTeX表格字数过多时，如何设置自动换行？LaTeX表格里面的元素如何实现水平和垂直居中？表格过宽或者表格过窄时如何调整？如何创建用于跨越两栏的表格或者图片？LaTeX中如何设置点击引用跳转？LaTeX是我们用于排版的一个工具，在这里推荐大家使用overleaf去编写自己的LaTeX代码。当我们想要投稿期刊或会议时，首
论文阅读汇总（2）-【篇数：50】
scu-liu的博客
04-24 830
本人学习所有系列：汇总帖 这一篇文章作为精读/泛读论文的一个汇总贴。 2021-2-3开始，期待刷到100篇的那一天。 1-50：前50篇汇总 20210424- 《Logic-Guided Data Augmentation and Regularization for Consistent Question Answering》 主要内容： 20210424- 《UnifiedQA: Crossing Format Boundaries With a Single QA System》 主
ACL2019代码开源论文
LearningNews的博客
08-25 1786
来自： GitHub yizhen20133868 WeChat Subscription 程序员遇见GitHub #### Incremental Transformer with Deliberation Decoder for Document Grounded Conversations - 论文链接：https://www.aclweb.org/anthology/P19-1002.pdf - 代码链接： https://github.com/lizekang/ITDD #### Impr
中文part2 Multimodal Sentiment Analysis
01-24
Multimodal Sentiment Analysis (Socio-Affective Computing, Book 8) by Soujanya Poria and Amir Hussain This latest volume in the series, Socio-Affective Computing, presents a set of novel approaches to analyze opinionated videos and to extract sentiments and emotions.
A Co-Memory Network for Multimodal Sentiment Analysis
qq_43775680的博客
11-05 1213
首次使用co-memory来提升多模态情感分析的性能，达到了当时的SOTA效果
一文看懂 Bahdanau 和 Luong 两种 Attention 机制的区别
bbbeoy的专栏
08-23 761
https://zhuanlan.zhihu.com/p/129316415 参考： Neural Machine Translation by Jointly Learning to Align and Translate Effective Approaches to Attention-based Neural Machine Translation Attention Variants BahdanauAttention与LuongAttention注意力机制简介-CSDN..
【论文阅读】Tensor Fusion Network for Multimodal Sentiment Analysis
weixin_45420890的博客
07-29 6451
以往的多模态情感分析的工作中并没有直接考虑模态内和模态间的动态，而是执行早期融合（也称为特征级融合）或后期融合（也称为决策级融合）。早期融合主要包括在输入层面上简单地连接多模态特征，但是这种方法不能有效地建模模态内特征。而后期融合包括独立训练单模态分类器和执行决策投票，这种方法也不能有效地建模模态间动态。而且在视频中，由于口语的易变性以及伴随的手势和和声音，容易导致的模态内的动态不稳定。作者在本文中介绍了一种新的用于情感分析的端到端融合方法，该方法明确表示行为之间的单模态、双模态和三模态的交互。......
【论文阅读】UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition（EMNLP 2022）
weixin_48432468的博客
02-28 1362
一个多模态情感知识共享框架 (UniMSE)，它统一了来自特征、标签和模型的 MSA 和 ERC 任务。
RNN资源博客 Recurrent Neural Network的经典论文、代码、课件、博士论文和应用汇总
Yingying
12-19 5175
转载自：RNN资源博客 字数1701 阅读5199 评论2 喜欢4 Awesome Recurrent Neural Networks A curated list of resources dedicated to recurrent neural networks (closely related todeep learning). Maintainers -Jiwon
论文阅读汇总（4）-【篇数：50】
scu-liu的博客
07-05 782
本人学习所有系列：汇总帖 这一篇文章作为精读/泛读论文的一个汇总贴。 开始新的100篇~ 1-50：1-50汇总 51-100：51-100汇总 101-150：51-100汇总 20210705- 《Directed Acyclic Graph Network for Conversational Emotion Recognition》 主要内容： 20210705- 《Directed Acyclic Graph Network for Conversational Emotion Reco
NLP论文多个领域经典、顶会、必读整理分享及相关解读博客分享
qq_42189083的博客
05-29 3151
持续更新收集*** 1、Bert系列 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - NAACL 2019) ERNIE 2.0: A Continual Pre-training Framework for Language Understanding - arXiv 2019) StructBERT: Incorporating Language Structures into
Multimodal-Sentiment-Analysis 项目教程
gitblog_00165的博客
09-04 974
Multimodal-Sentiment-Analysis 项目教程 Multimodal-Sentiment-Analysis多模态情感分析——基于BERT+ResNet的多种融合方法项目地址:https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis 项目介绍 Multimodal-Sentiment-Analysis 是一...
UniMSE: Towards Unified Multimodal Sentiment Analysisand Emotion Recognition
G2025_06的博客
02-08 1317
MSA(多模态情感分析）和ERC(文本情绪识别）在现存的工作中总是作为两个独立的问题被研究，本文旨在将情感与情绪共同分析来更好地理解人类行为。
(2024 MM) MIND:Improving Multimodal Sentiment Analysis Via Multimodal Information Disentanglement
qq_42882082的博客
05-07 1536
学习有效的联合表征一直是多模态情感分析的核心任务。以前的方法侧重于利用不同模态之间的相关性，并通过复杂的融合技术提高性能。然而，由于不同模态固有的异质性，可能导致分布差距，阻碍了对多模态信息的充分利用，并导致从特征中提取的信息冗余和不纯。为了解决这个问题，我们引入了多模态信息解纠缠(MInD)方法。MInD通过共享编码器和多个私有编码器将多模态输入分解为模态不变分量、模态特定分量和每个模态的残余噪声分量。共享编码器的目的是探索模态之间的共享信息和共性，而私有编码器的目的是捕获独特的信息和特征。
MultiSentiNet: A Deep Semantic Network for MultimodalSentiment Analysis（CCF B）
qq_43775680的博客
11-08 980
使用图像对象特征和场景特征指导文本特征向量的生成，最终求得了较好的性能。
【论文泛读】Deep-HOSeq: Deep Higher Order Sequence Fusion for Multimodal Sentiment Analysis
⛄
08-19 686
论文题目：Deep-HOSeq: Deep Higher Order Sequence Fusion for Multimodal Sentiment Analysis 时间：2020 来源：ICDM 论文链接：https://arxiv.org/pdf/2010.08218.pdf 摘要 在社交媒体平台（如 YouTube、Facebook 等）上分享观点鲜明的视频越来越受欢迎。在这些平台上，演讲者的情绪可通过多种异构形式的信息获得，如语言（口语）、视觉手势和声音（语音）。虽然在使用语言进行情感分析方.
Gated Mechanism For Attention Based Multimodal Sentiment Analysis基于注意力的多模式情感分析的门控机制——阅读笔记
qq_38962336的博客
06-29 2378
文章目录1.摘要2.导论3. 提出的方法3.1 上下文话语表示3.2 自注意力3.3 交叉注意3.5 深度多模态融合4.实验4.1 实施细节4.2 实验结果5. 结论 1.摘要 本文主要探讨多模态情感分析的三个方面。 （1）跨模态交互学习，即多种模态如何影响情绪； （2）学习多模态交互中的长期依存关系； （3）单模态和跨模态线索的融合。 对两个基准数据集进行了实验，CMU多模态观点水平情感强度（CMU-MOSI）和CMU多模态观点情感和情绪强度（CMU-MOSEI）语料库，分别产生83.9％和81.1％的准
【论文精读】Multimodal Sentiment Analysis with Preferential Fusion and Distance-aware Contrastive Learning
"You are worthy! You can do it!"
03-19 3767
基于优先融合和距离感知对比学习的多模态情感分析数据集：MOSEI, MOSI, SIMS, and UR-FUNNY实验运行环境：一个 NVIDIA RTX 3090 GPU代码地址：Github：通过将监督样本中的相同label的样本作为正样本，不同label的样本作为负样本，来进行对比学习；正样本：同类型数据负样本：不同类型数据。
探索深度学习的情感世界：Multimodal-Sentiment-Analysis
gitblog_00017的博客
06-09 1052
探索深度学习的情感世界：Multimodal-Sentiment-Analysis Multimodal-Sentiment-Analysis多模态情感分析——基于BERT+ResNet的多种融合方法项目地址:https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis 在这个数字化时代，人们的情绪表达不再仅限于文字，图像和表情符...
Modality-Specific Residual Network for Multimodal Sentiment Analysis
最新发布
03-11
<think>嗯，用户想了解多模态情感分析中的特定于模态的残差网络的研究和实现。首先，我需要确认什么是多模态情感分析。根据引用[1]，它涉及处理来自不同模态（如文本、音频、视觉）的数据，用于分析情感，尤其是在模态缺失的情况下。然后，特定于模态的残差网络可能指的是针对每个模态设计的网络结构，可能结合残差连接来提升性能。 接下来，我需要回顾现有的研究。残差网络在计算机视觉中应用广泛，如ResNet和DenseNet（引用[2]），它们在处理深层网络时有效缓解梯度消失问题。多模态领域，可能需要将这种结构应用于不同模态的特征提取。例如，每个模态可能有独立的残差网络分支，再融合特征。 然后，用户提到的实现方面，可能需要参考具体的代码库。引用[1]中的EMMR项目可能包含相关实现，可以查看其GitHub代码。此外，引用[3]提到多模态预训练和跨模态检索，可能涉及模态特定网络的设计，比如如何处理不同模态的特征。 需要解决的问题包括：1）如何设计模态特定的残差网络结构；2）如何融合不同模态的特征；3）如何处理模态缺失或不确定性。例如，在EMMR中，可能使用特定模态的残差块来处理各自的数据，再通过某种机制（如注意力）进行融合，同时应对缺失模态的情况。 此外，用户可能需要了解现有的模型架构，比如是否每个模态都有独立的ResNet分支，以及如何在这些分支中加入残差连接。引用[2]提到的多尺度模型设计、FPN等可能对多模态特征融合有借鉴意义。比如，使用不同层级的特征进行融合，或者使用跨模态的注意力机制。 在实现上，可能需要使用深度学习框架如PyTorch或TensorFlow，构建多个残差网络分支，每个处理一个模态，然后将特征合并。同时，需要处理模态缺失的情况，比如通过零填充或生成替代特征，如引用[1]中的方法。 可能的相关问题包括优化方法、处理模态缺失的技术、如何评估模型性能等。需要确保回答结构清晰，步骤明确，并引用相关的文献和代码资源。</think>### 多模态情感分析中特定于模态的残差网络研究及实现 #### 1. 研究背景 多模态情感分析通过融合文本、语音、视觉等模态数据提升情感识别准确性[^1]。特定于模态的残差网络（Modality-Specific Residual Networks）通过以下方式优化模型性能： - **模态独立性**：为每个模态设计独立的残差分支，避免特征混淆。 - **梯度优化**：利用残差连接（如ResNet[^2]）缓解梯度消失问题，增强深层网络训练稳定性。 - **动态特征融合**：在高层通过注意力机制或加权融合整合多模态特征[^3]。 #### 2. 核心实现方法 ##### 2.1 残差网络设计 - **单模态分支**：每个模态（如文本、音频、视觉）使用独立的残差块。例如： ```python class ModalityResNet(nn.Module): def __init__(self, input_dim): super().__init__() self.res_layer1 = nn.Sequential( nn.Linear(input_dim, 256), nn.ReLU(), nn.Linear(256, 256) # 残差跳跃连接 ) def forward(self, x): residual = x x = self.res_layer1(x) x += residual # 残差相加 return x ``` - **跨模态特征对齐**：通过对比学习或对抗训练（如DANN）对齐不同模态的特征分布。 ##### 2.2 多模态融合策略 - **加权融合**：为每个模态分配动态权重，例如基于注意力机制： $$ \alpha_i = \text{softmax}(W \cdot h_i + b) $$ 其中$h_i$为第$i$个模态的特征，$\alpha_i$为其权重。 - **层级融合**：在残差块的不同层级进行特征交互（参考FPN[^2]的多尺度设计）。 #### 3. 研究进展 - **EMMR框架**：提出模态不确定性的鲁棒性处理方法，通过残差网络补偿缺失模态的影响。 - **跨模态预训练**：结合BERT等模型，在残差结构中嵌入跨模态对齐模块（如CLIP风格对比学习）。 #### 4. 实现示例（基于PyTorch） ```python class MultimodalResNet(nn.Module): def __init__(self, text_dim, audio_dim, visual_dim): super().__init__() # 模态特定残差分支 self.text_net = ModalityResNet(text_dim) self.audio_net = ModalityResNet(audio_dim) self.visual_net = ModalityResNet(visual_dim) # 融合层 self.attention = nn.MultiheadAttention(embed_dim=256, num_heads=4) self.classifier = nn.Linear(256, 3) # 情感分类 def forward(self, text, audio, visual): text_feat = self.text_net(text) audio_feat = self.audio_net(audio) visual_feat = self.visual_net(visual) # 跨模态注意力融合 fused, _ = self.attention(text_feat, audio_feat, visual_feat) return self.classifier(fused) ``` #### 5. 关键挑战与优化 - **模态缺失处理**：在残差网络中引入零初始化掩码或生成式补全（如GAN）。 - **计算效率**：使用分组卷积或模型蒸馏降低多分支计算开销。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值