多模态情感分析太香了！新成果及开源代码已扒！

2025深度学习发论文&模型涨点之——多模态情感分析

情感分析作为自然语言处理领域的重要研究方向，近年来取得了显著进展。然而，单一模态的情感分析往往难以全面捕捉人类情感的复杂性和多样性。随着多模态数据的爆炸式增长，多模态情感分析 (Multimodal Sentiment Analysis, MSA) 应运而生，并迅速成为研究热点。

我整理了一些多模态情感分析【论文+代码】合集，需要的同学公人人人号【AI创新工场】发525自取。

论文精选

论文1：

M-SENA: An Integrated Platform for Multimodal Sentiment Analysis

M-SENA：多模态情感分析的集成平台

方法

模块化视频情感分析框架：提出了一个包含数据管理、特征提取、模型训练和结果分析模块的全模块化框架。

高度定制化的特征提取：集成了Librosa、OpenSmile、OpenFace、MediaPipe等工具，并提供了一个高度定制化的Python特征提取API。

统一的模型训练流程：整合了14种多模态情感分析基准模型，包括张量融合方法、模态分解方法和多视图学习方法等。

模型评估与分析工具：提供了中间结果可视化、实时实例测试和泛化能力测试等工具。

创新点

高度定制化的特征提取：提供了透明的特征提取过程，用户可以轻松复现特征提取步骤，并在设计好的特征集上开展研究。与CMU-MultimodalSDK相比，M-SENA平台的特征提取更加灵活。

统一的多模态情感分析流程：首次提供了一个统一的多模态情感分析框架，确保了不同模态特征和融合方法之间的公平比较。

性能提升：通过使用适当的特征代替CMU-MultimodalSDK中的原始特征，模型性能得到了显著提升。例如，在CMU-MOSI数据集上，使用wav2vec2.0特征的GMFN模型准确率从76.98%提升到78.02%。

泛化能力测试：提供了包含68个中文和61个英文样本的泛化能力测试数据集，模拟了多种复杂的现实场景，帮助研究人员评估模型在真实世界中的表现。

论文2：

Sentiment Word Aware Multimodal Refinement for Multimodal Sentiment Analysis with ASR Errors

针对自动语音识别错误的多模态情感分析中的情感词感知多模态细化

方法

情感词位置检测模块：通过BERT模型预测可能的情感词位置，并使用情感词典筛选出情感词。

多模态情感词细化模块：利用多模态情感线索动态细化情感词嵌入，包括过滤无用信息和补充有用信息。

多模态特征融合模块：将细化后的词嵌入作为文本输入，与其他模态特征融合以预测情感标签。

创新点

情感词位置检测：通过BERT模型预测情感词位置，解决了ASR模型可能将情感词识别为中性词的问题，提高了情感词检测的准确性。

动态细化情感词嵌入：通过多模态情感线索动态调整情感词嵌入，减少了ASR错误对情感分析性能的影响。

性能提升：在MOSI-SpeechBrain、MOSI-IBM和MOSI-iFlytek数据集上，该模型的性能超过了现有的最先进模型。例如，在MOSI-IBM数据集上，该模型的二分类准确率从77.32%提升到78.43%，F1分数从78.72%提升到79.80%。

论文3：

Integrating Multimodal Information in Large Pretrained Transformers

在大型预训练Transformer模型中整合多模态信息

方法

多模态适应门（MAG）：提出了一种附加组件MAG，允许BERT和XLNet在微调过程中接受多模态非语言数据。

条件注意力机制：通过条件注意力机制将视觉和听觉信息映射为具有轨迹和幅度的向量，用于调整BERT和XLNet的内部表示。

多模态特征对齐：对齐语言、视觉和听觉特征，确保每个词的多模态信息能够被有效整合。

创新点

多模态适应门（MAG）：通过引入多模态适应门，成功地将BERT和XLNet扩展到多模态输入，而无需改变其原始结构。

性能提升：在CMU-MOSI和CMU-MOSEI数据集上，MAG-BERT和MAG-XLNet的性能超过了仅使用语言模态的BERT和XLNet，以及现有的多模态情感分析模型。例如，在CMU-MOSI数据集上，MAG-XLNet的二分类准确率从84.6%提升到85.7%，F1分数从86.7%提升到87.9%。