MISA是一个多模态情感分析框架，强调模态不变和特定表示学习以促进融合。通过学习共享的模态不变子空间和独立的模态特定子空间，MISA减少了模态间差异，增强了多模态数据的全面理解。在MOSI和MOSEI数据集上，MISA模型在情感分析任务上优于现有先进模型，并在UR_FUNNY数据集上表现出色，适用于多模态幽默检测。实验表明，正则化损失和子空间学习对模型性能至关重要。
（三十九）：MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis
-
出处： ACM Multimedia 2020: 1122-1131
-
主要内容：将多模态的表征分为特定模态的表征和模态不变的表征，最后通过attention融合去做情感分析。MISA 模型可分为三个模块: 特征提取模块（Feature Extraction），模态表征模块（Modality Representations），模态融合模块（Modality Fusion）。特征提取模块：对文本使用预训练BERT提取特征，对图像和音频信号使用 Stack LSTM 学习上下文信息并获得对应模态的特征。模态表征模块：使用 Similarity Loss（CMD） 去约束三个模态达到同一个子空间并去学习三个模态共同的表征；使用 Difference Loss（正交度量）去学习每个模态特有的表征；使用 Reconstruction Loss 去重构模态的原始信息以确保模态在转换空间时丢失信息。模态融合模块：使用 transformer encoder 对模态的特征进行融合并拿此特征向量做最后的预测任务。
-
实验代码：https://github.com/declare-lab/MISA
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
