基于 Transformer 的多子空间多模态情感分析-数据代码

项目介绍：

多模态情感分析是指通过文本、 视觉和声学信息识别视频中人物表达出的情感。 现有方法大多通过设计复杂的融合方案学习多模态一致性信息， 而忽略了模态间和模态 内的差异化信息， 导致缺少对多模态融合表示的信息补充。 为此提出了一种基于Transformer  的多子空间多模态情感分析方法。 该方法将不同模态映射到私有和共享子空间，获得 不同模态的私有表示和共享表示，学习每种模态的差异化信息和统一信息。 首先，将每种 模态的初始特征表示分别映射到各自的私有和共享子空间，学习每种模态中包含独特信 息的私有表示与包含统一信息的共享表示。 其次，在加强文本模态和音频模态作用的前 提下，设计二元协同注意力跨模态 Transformer 模块，得到基于文本和音频的三模态表示。 然后， 使用模态私有表示和共享表示生成每种模态的最终表示， 并两两融合得到双模态 表示， 以进一步补充多模态融合表示的信息。 最后， 将单模态表示、 双模态表示和三模 态表示拼接作为最终的多模态特征进行情感预测。 在 ２ 个基准多模态情感分析数据集上 的实验结果表明。

直接看模型：

import torch
import torch.nn as nn
import torchaudio
from transformers import ViTModel, Wav2Vec2Model, BertModel


# 定义模型结构
class MultiModalModel(nn.Module):
    def __init__(self):
        super(MultiModalModel, self).__init__