多模态情感分析的知识导向动态模态注意力融合框架（2024）

一、引言

        多模态情感分析（MSA）利用多模态数据来推断用户的情感。以前的方法侧重于平等对待每种情态的贡献，或者静态地使用文本作为主导情态来进行互动，这忽略了每种情态可能成为主导的情况。本文提出了一种用于多模态情感分析的知识引导动态模态注意力融合框架（KuDA）。KuDA使用情感知识来指导模型动态选择主导模态并调整每种模态的贡献。此外，通过获得的多模态表示，该模型可以通过相关性评估损失进一步突出主导模态的贡献。

二、方法

我们提出了KuDA，一种用于多模态情感分析的知识引导动态模态注意力融合框架，通过动态选择主导模态来提高性能，使模型适应复杂和广泛的场景。

我们设计了一个动态注意力融合模块，该模块利用情感知识来指导不同层次的多模态特征，并通过调整每种模态的贡献来实现动态融合。

        KuDA首先从原始多模态输入中提取单峰低级特征。然后，适配器和编码器同时提取单峰高级特征并学习情感知识。我们利用解码器预测单峰情感，并将其转换为情感比率，以指导动态融合。接下来，我们设计了一个动态注意力融合模块，该模块根据不同的场景选择主导模态，并根据情感比率和知识表示动态调整注意力权重。最后，通过多层感知器（MLP）使用多模态表示来执行MSA任务，并估计与知识表示的相关性。