Multimodal Affective Analysis Using Hierarchical Attention Strategy 笔记

用多层attention做多模态情感分析

先将多个模态进行time_step的对齐，然后再通过attention（dense（activation = “tanh”）， 乘向量Vt， softmax）得到每个time_step的权值，之后提出三个模态融合方案。

 

 

c中的attention layer就是还用先前的attention方式得到每个time_step的权值，和s_ai逐位相加。

 

最后得到一个矩阵V（乘完权重之后不加和），过类似一维cnn的结构和最大池化

每个filter得到一个向量ck（和第一行的k不一样），之后将所有的向量拼接得到最终的表示c