Multimodal Sentiment Analysis论文汇总

已于 2023-03-24 16:52:36 修改
阅读量1.8k 收藏 48
点赞数 13
分类专栏： 多模态情绪分析 文章标签： 深度学习 人工智能
于 2023-03-24 16:52:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48432468/article/details/129754215
版权

多模态情绪分析论文

YearTitleNetworkPublishPaperCodeRead
2019Multimodal Transformer for Unaligned Multimodal Language SequencesMulTACLlinklink√
2020CM-BERT: Cross-Modal BERT for Text-Audio Sentiment AnalysisCM-BERTACM MMlinklink√
2020Integrating Multimodal Information in Large Pretrained TransformersMAGACLlinklink√
2020MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment AnalysisMISAACM MMlinklink√
2021Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment AnalysisBBFNICMIlinklink
2021CTNet: Conversational Transformer Network for Emotion RecognitionCTNetIEEE-ACM T AUDIO SPElink-
2021Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal Sentiment AnalysisHyConUnder Reviewlink-√
2021Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment AnalysisMMIMEMNLPlinklink
2021Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment AnalysisSelf-MMAAAIlinklink√
2021MSAF: Multimodal Split Attention FusionMSAFUnder Reviewlink-√
2022AMOA: Global Acoustic Feature Enhanced Modal-Order-Aware Network for Multimodal Sentiment AnalysisAMOACOLINGlink-√
2022BAFN: Bi-direction Attention based Fusion Network for Multimodal Sentiment AnalysisBAFNTCSVTlink-
2022CLMLF:A Contrastive Learning and Multi-Layer Fusion Method for Multimodal Sentiment DetectionCLMLFNAACLlinklink
2022Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment AnalysisCLUEACM MMlinklink√
2022CubeMLP: An MLP-based Model for Multimodal Sentiment Analysis and Depression EstimationCubeMLPACM MMlink-√
2022Disentangled Representation Learning for Multimodal Emotion RecognitionFDMERACM MMlink-
2022Dynamically Adjust Word Representations Using Unaligned Multimodal InformationCHFNACM MMlink-
2022EmoCaps: Emotion Capsule based Model for Conversational Emotion RecognitionEmoCapsACLlink-√
2022FEW-SHOT MULTIMODAL SENTIMENT ANALYSIS BASED ON MULTIMODAL PROBABILISTIC FUSION PROMPTSMultiPointUnder Reviewlinklink
2022Leveraging Multi-modal Interactions among the Intermediate Representations of Deep Transformers for Emotion RecognitionRILAACM MMlink-
2022M-SENA: An Integrated Platform for Multimodal Sentiment AnalysisM-SENAACLlinklink√
2022Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment AnalysisMMCLEMNLPlink-
2022Multimodal Information Bottleneck: Learning Minimal Sufficient Unimodal and Multimodal RepresentationsMIBTMMlinklink
2022MULTIMODAL SENTIMENT ANALYSIS ON UNALIGNED SEQUENCES VIA HOLOGRAPHIC EMBEDDINGHEMTICASSPlink-
2022Multimodal Temporal Attention in Sentiment AnalysisMMTAACM MMlink-
2022TVLT: Textless Vision-Language TransformerTVLTNeurIPSlinklink√
2022Unified Multi-modal Pre-training for Few-shot Sentiment Analysis with Prompt-based LearningUP-MPFACM MMlinklink√
2022UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion RecognitionUniMSEEMNLPlinklink√
2023A Deep Multi-level Attentive Network for Multimodal Sentiment AnalysisDMLANetACM MMlink-
2023PS-Mixer: A Polar-Vector and Strength-Vector Mixer Model for Multimodal Sentiment AnalysisPS-MixerIPMlinklink

多模态情绪分析模态缺失论文

YearTitleNetworkPublishPaperCodeRead
2021CTFN: Hierarchical Learning for Multimodal Sentiment Analysis Using Coupled-Translation Fusion NetworkCTFNACLlinklink√
2021Missing Modality Imagination Network for Emotion Recognition with Uncertain Missing ModalitiesMMINACLlinklink√
2021Transformer-based Feature Reconstruction Network for Robust Multimodal Sentiment AnalysisTFR-NetACM MMlinklink√
2022Analyzing Modality Robustness in Multimodal Sentiment Analysis-NAACLlinklink√
2022Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment AnalysisEMT-DLFRUnder Reviewlink-
2022EXPLOITING MODALITY-INVARIANT FEATURE FOR ROBUST MULTIMODAL EMOTION RECOGNITION WITH MISSING MODALITIESIF-MMICASSPlinklink√
2022Mitigating Inconsistencies in Multimodal Sentiment Analysis under Uncertain Missing ModalitiesEMMREMNLPlinklink√
2022MM-Align: Learning Optimal Transport-based Alignment Dynamics for Fast and Accurate Inference on Missing Modality SequencesMM-AlignEMNLPlinklink√
2022Robust Multimodal Sentiment Analysis via Tag Encoding of Uncertain Missing ModalitiesTATETMMlinklink√
2023GCNet: Graph Completion Network for Incomplete Multimodal Learning in ConversationGCNetTPAMIlinklink√
YongboW
关注
  • 13
    点赞
  • 踩
  • 48
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
中文part2 Multimodal Sentiment Analysis
01-24
Multimodal Sentiment Analysis (Socio-Affective Computing, Book 8) by Soujanya Poria and Amir Hussain This latest volume in the series, Socio-Affective Computing, presents a set of novel approaches to...
(2024 MM) MIND:Improving Multimodal Sentiment Analysis Via Multimodal Information Disentanglement
最新发布
qq_42882082的博客
05-07 1022
学习有效的联合表征一直是多模态情感分析的核心任务。以前的方法侧重于利用不同模态之间的相关性，并通过复杂的融合技术提高性能。然而，由于不同模态固有的异质性，可能导致分布差距，阻碍了对多模态信息的充分利用，并导致从特征中提取的信息冗余和不纯。为了解决这个问题，我们引入了多模态信息解纠缠(MInD)方法。MInD通过共享编码器和多个私有编码器将多模态输入分解为模态不变分量、模态特定分量和每个模态的残余噪声分量。共享编码器的目的是探索模态之间的共享信息和共性，而私有编码器的目的是捕获独特的信息和特征。
IPM2023-PXMixer-多模态情感分析系列文章解读
JackCrum的博客
04-24 1076
多模态情感分析旨在判断互联网用户在各种社交媒体平台上上传的多模态数据的情感。（1）然而，一方面，现有研究侧重于文本、音频和视觉等多模态数据的融合机制，而忽略了文本与音频、文本与视觉的以及，导致情感分析存在偏差。（2）另一方面，多模态数据带来与情感分析，影响融合效果。
【论文精读】| PS-Mixer: A Polar-Vector and Strength-Vector Mixer Model for Multimodal Sentiment Analysis
"You are worthy! You can do it!"
03-01 1223
一方面，现有研究侧重于文本、音频和视觉等多模式数据的融合机制，而忽视了文本和音频、文本和视觉的相似性以及音频和视觉的异质性，导致情绪分析出现偏差。另一方面，多模式数据带来了与情绪分析无关的噪声，影响了融合的效果。本文提出了一种称为PS mixer的极向量和强度向量混合模型，该模型基于MLP mixer，以实现不同模态数据之间更好的通信，用于多模态情感分析。具体来说，分别设计了一个极性向量（PV）和一个强度向量（SV）来判断情绪的极性和强度。
Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment
自己在学习过程中的总结
01-04 975
总结：多模态融合时，采用Global-Local的融合策略，利用MPU单元，实现模态的融合。题目：Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis解决多模态情感分析的两个问题：① MSA 在未对齐的多模态数据集中建立跨模态交互模型（cross-modal interactions ）效率低下。② MSA 易受随机模态特征缺失
Affective Computing Research
weixin_43765589的博客
08-15 315
ACMMM2022 多模态情感计算专题
Efficient Multimodal T ransformer with Dual-Level Feature Restoration for Robust..个人理解
double_yellow的博客
06-12 345
MPU作用：使用G[0]和H[0]一层一层融合得到新的G和H。MPU具体：输入多模态的H和G进行MHCA和MHSA和FFN实现生成下一层的H和G，其中G[0]和H[0]是单独设置的，其他层的G和H是通过MPU数据组合得到。用最后一层MPU得到的h和g（g为flattenG[L]得出，维度为R。的BERT还没仔细看，但是不是直接写的[CLS]而是BERT输出的第一维数据）。为LSTM中的两个输出，好像没有联系，没有包含关系，h。），进行连接，输入MLP，得到预测的情绪强度y’。为BERT中的[CLS]，h。
ACL2018-MultimodalMultitaskSentimentAnalysis:ACL2018多模语言研讨会代码
05-17
这些代码适用于我们的ACL2018人类多峰语言计算建模研讨会论文： @inproceedings{tian2018polarity, title={Polarity and Intensity: the Two Aspects of Sentiment Analysis}, author={Tian, Leimin and Lai, ...
Social-BiGAT Multimodal Trajectory Forecasting论文翻译.pdf
03-03
这篇文章，值得看的地方有两块，一个是 GAT（图注意力网络的应用），第二个是（CycleGAN） 的应用。 本文是全文翻译， 目录中标...关于 Cycle-GAN 的论文见解和阅读 SINO 的阅读笔记不错，文章 3.6 部分链接贴出来 了
Deep Learning in Medical Image Analysis and Multimodal Learning
11-23
近期智能医疗专著，围绕深度学习以及卷积神经网络在医疗图像领域的计算和分析进行介绍
Multimodal videoclassificationwithstacked contractiveautoencoders
02-11
Multimodal videoclassificationwithstacked contractiveautoencoders
【Paper List】Multi-modal Few-shot Sentiment Analysis
weixin_41845840的博客
12-01 202
2023 Few-shot Multimodal Sentiment Analysis Based on Multimodal Probabilistic Fusion Prompts paper link: https://dl.acm.org/doi/pdf/10.1145/3581783.3612181 code link: https://github.com/YangXiaocui1215/MultiPoint Few-shot Joint Multimodal Aspect-Sentiment
（2023）基于多模态概率融合提示的少样本多模态情感分析
大肉包的博客
04-11 1394
为了减少不同模式提示的差异，设计了由图像描述提示和文本提示组成的统一的多模式提示。为了提高模型的鲁棒性，利用每个输入的多个不同提示，并提出了一种概率方法来融合输出预测。且不同的提示包含不同数量的信息，单一提示所传达的信息是不够的。2. 设计了统一的多模态提示来减少不同模态提示的差异，并设计了概率融合方法来聚合多个多模态提示的预测，以提高模型的鲁棒性。对于图像模态，首先生成每个图像的文本描述，并将其编码为文本提示，以提高图像和文本提示的兼容性。提出了一种新的概率融合方法来融合来自多模态提示的多个预测。
深度多视图信息瓶颈：Deep Multi-view Information Bottleneck
gandebeautiful的博客
05-05 1228
论文题目：Deep Multi-view Information Bottleneck Summary 单个视图的信息瓶颈模型已经发展较为成熟，但尚未有在多视图上的信息瓶颈理论，本论文将信息瓶颈理论用于处理多视图数据，在学习得到单个视图的表征后，融合生成最终表征。 Problem Statement 现有的多视图融合的过程都是线性的，但多个视图之间的联系往往是非线性的而且是复杂的，所以需要更好的融合的过程。 Method ...
多模态方法 Improving Multimodal Sentiment Analysis with Contrastive Pretraining
禅与计算机程序设计艺术
09-18 992
在自然语言处理领域，对文本、图像等多模态信息进行情感分析已经成为一个重要的研究方向。传统的文本分类方法依赖于特征工程或者使用深度学习模型，而多模态的方法则使用多种模态的信息来提升性能。现有的一些多模态方法均属于无监督学习，即没有使用带标签的数据进行训练，因此准确性无法保证。受限于标签数据的缺乏，很多多模态方法都难以取得很好的效果。另外，传统的多模态方法往往需要组合多个模型，对结果的解释也比较困难。为了解决上述问题，最近出现了一种新的多模态方法——Contrastive Pretraining。
近3三年多模态情感分析论文及其代码
qq_41458274的博客
03-23 6089
star:444；CMU-MOSEI的sota4;CMU-MOSEI排行第3。MOSI数据排行第1。在CMU-MOSE数据集排行榜。在MOSI数据集排行榜。
[AAAI 2023 Oral] : Multi-modal 多模态 / Vision-language 视觉语言收录论文集合（42篇）
二十四桥明月夜的博客
02-17 3275
内容主要包括AAAI 2023 Oral中Multi-modal 多模态 / Vision-language 视觉语言 相关的Paper，若有遗漏欢迎补充。
2019_ACL_Multimodal Transformer for Unaligned Multimodal Language Sequences
tcn760的博客
04-07 3736
Multimodal Transformer for Unaligned Multimodal Language Sequences 论文地址：https://arxiv.org/abs/1906.00295 对多模态人类语言序列数据进行建模的主要挑战： 1.每种模态的序列的采样方法不同，因此不同数据是未对齐的（就是一段文字，采样后与之相匹配的视频片段或音频片段与之并未对其） 2.跨模态的元素之间的长期依赖关系（哭泣可能与之前所说过的话有关系） 本文提出MulT来解决上述问题。 通过电影评论的实例视频剪
Causal Representation Learning for Out-of-Distribution Recommendation
qq_42898299的博客
12-21 661
现代的推荐系统会从历史交互数据种学习用户表示，会受到用户特征偏移的影响，例如用户收入的提升。历史交互数据会将过时的历史交互信息注入到用户表示种，而这些信息是与用户最新的特征相冲突的。本文将分布外（out-of-distribution）推荐问题视为一种用户特征产生偏移的环境。为了达到高可信度，我们为学习设置了两个目标：1. 稳健的OOD泛化性；2. 快速的OOD适应性。
请讲一下UniMSE：Towards Unified Multimodal Sentiment Analysis and Emotion Recognition这篇论文中的模型
03-25
A: UniMSE是一种用于联合多模态情感分析和情感识别的模型，它是基于Transformer和多任务学习的思想构建而成。UniMSE包含两个部分：1）MASHQ:一个基于Transformer的跨模态情感分析器；2）SERQ:一个基于Transformer的跨模态情感识别器。 MASHQ是一个非常灵活的跨模态情感分析器，它可以同时处理文本、音频、图像和视频等不同类型的数据。MASHQ的输入由一个或多个不同类型的嵌入向量构成，每个向量表示不同类型的数据。通过多头自注意力机制，MASHQ能够自动地学习到在不同模态之间共享的特征和模式，并将它们整合起来进行情感分析。 SERQ则是用于识别输入数据的情感状态。与MASHQ类似，SERQ也是一个基于Transformer的模型，它从输入的数据中学习到语义信息和情感特征。SERQ的输出是一个情感标签，表示输入数据的情感状态，例如高兴、悲伤、愤怒等。 两个模型都使用多任务学习的方法，以最小化总损失函数。这种方法可以使两个模型更好地协同工作，共同完成跨模态情感分析和情感识别的任务。 总体而言，UniMSE提供了一种有效的方法来处理多种不同类型的数据，并能有效地识别和分析其中的情感信息。这一技术具有广泛的应用前景，例如娱乐、医疗、安防等领域都可以应用UniMSE来进行情感分析和情感识别。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值