qq_52679708的博客

我们提出了一种新的MSA框架调制模型用于多模态情感分析(M3SA)，以识别模态的贡献，减少噪声信息的影响，从而更好地学习单模态和跨模态动态。具体来说，调制损耗被设计为基于每个话语中单个模态的置信度来调制损耗贡献，从而探索每个单峰网络的最优更新解决方案。此外，针对大多数现有的工作不能明确地过滤掉噪声信息，我们设计了一个模态过滤模块来识别和过滤模态噪声，以学习正确的跨模态嵌入。在公开数据集上进行的大量实验表明，我们的方法达到了最先进的性能

多模态情感分析旨在提取和整合从多模态中收集到的语义信息，以识别多模态数据中所表达的情感和情绪。该研究领域的主要关注点在于开发一种特殊的融合方案，可以从各种模式中提取和整合关键信息。然而，以前的工作受到缺乏利用独立性和相关性的动态模式达到最高绩效的限制。为了缓解这一问题，我们提出了双双峰融合网络(BBFN)，这是一种新型的端到端网络，对两两模态表示进行融合(相关增量)和分离(差异增量)。这两个部分同时训练，以模拟它们之间的战斗。由于已知模态之间的信息不平衡，该模型采用两个双峰对作为输入。

本文研究了多模态融合问题。最近提出了基于交换的视觉融合方法，其目的是将从一种模式学习到的嵌入交换到另一种模式。然而，它们大多将多模态的输入投影到不同的低维空间中，无法应用于序列输入数据。为了解决这些问题，本文提出了一种基于Transformer的文本视觉融合的基于交换的多模态融合模型MuSE。我们首先使用两个编码器分别将多模态输入映射到不同的低维空间。然后，我们使用两个解码器来正则化嵌入并将它们拉入同一空间。两个解码器分别通过图像字幕任务和文本到图像生成任务捕获文本和图像之间的相关性。

文章贡献：提出了TMRN，这是一种专注于文本模态在MSA任务中的主导地位的方法。TMRN以文本模态为主线，与其他两种模态相互作用和强化，以获得低冗余和去噪的特征表示。提出了一个以文本为中心的跨模态注意(TCCA)模块和一个文本门控的自注意(TGSA)模块来挖掘模态间和模态内的上下文关系。在两个人类多模态语言基准MOSI和MOSEI上进行了一组全面的实验。实验表明，我们的方法在这两个数据集上达到了最先进的方法。

融合多种模式的情感计算任务已被证明是有效的性能改进。然而，多模态融合是如何工作的还没有被很好地理解，它在现实世界中的使用通常会导致大的模型尺寸。在此工作中，在情绪和情绪分析方面，我们首先分析了在跨模态注意中，一种模态中的显著情感信息如何受到另一种模态的影响。我们发现，由于跨模式的注意，在潜在水平上存在着多模式不一致。基于这一发现，我们提出了一种基于分层跨模态门控(HCT-MG)的轻量级模型，该模型根据对目标任务的贡献确定主模态，然后分层地加入辅助模态，以减轻模态间不一致和减少信息冗余。

多模态情感识别跨模态注意力

为多模态情感分析任务设计一种有效的表征学习方法是一个重要的研究方向。挑战在于在完整的模态表示中学习共享和私有信息，这在统一的多模态标签和原始特征融合方法中是困难的。在这项工作中，我们提出了一个基于协方差矩阵的深度模态共享信息学习模块来捕获模态之间的共享信息。此外，我们使用基于自监督学习策略的标签生成模块来捕获模态的私有信息。我们的模块是即插即用的多模态任务，通过改变参数化，可以调整模式之间的信息交换关系，学习指定模式之间的私有或共享信息。

表征学习是多模态学习中一个重要而富有挑战性的课题。有效的情态表达应包含一致性和差异性两部分特征。由于统一的多模态标注，现有方法在捕获差异化信息时受到限制。然而，额外的单模态注释需要耗费大量的时间和人力。在本文中，我们设计了一个基于自监督学习策略的标签生成模块来获取独立的单峰监督。然后，对多模态和单模态任务进行联合训练，分别学习一致性和差异性。此外，在训练阶段，我们设计了一个权重调整策略来平衡不同子任务之间的学习进度。即引导子任务关注情态监督差异较大的样本。

多模态情感分析利用多模态信号来检测说话人的情感。以前的方法主要是基于从预训练模型中获得的一般知识进行多模态融合和表示学习，而忽略了领域特定知识的影响。在本文中，我们提出了用于多模态情感分析的对比知识注入(ConKI)，其中每种模态的特定知识表示可以通过基于适配器架构的知识注入与一般知识表示一起学习。此外，ConKI使用在每个单一模态中的知识类型之间、每个样本中的跨模态之间以及跨样本之间执行的分层对比学习过程，以促进所提出的表征的有效学习，从而改进多模态情绪预测。