![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
多模态
lanlana168
这个作者很懒,什么都没留下…
展开
-
Multimodal Sequence to Sequence Models for Sentiment Analysis 笔记
多模态seq2seq模型做情感分析 主要想法: 将两个模态的time_step对齐,之后训练seq2seq模型。其中一个模态作为输入,另一个作为标签,用交叉熵进行训练。用lstm做encoder和decoder,encoder得到的hidden layers认为是两个模态语义的融合。 之后利用训练好的seq2seq模型的encoder得到hidden layer作为模态融合的语义表示,过rn...原创 2018-09-27 23:14:58 · 401 阅读 · 0 评论 -
Multimodal Affective Analysis Using Hierarchical Attention Strategy 笔记
用多层attention做多模态情感分析 先将多个模态进行time_step的对齐,然后再通过attention(dense(activation = “tanh”), 乘向量Vt, softmax)得到每个time_step的权值,之后提出三个模态融合方案。 c中的attention layer就是还用先前的attention方式得到每个time_step的权值,和s_ai逐...原创 2018-09-27 23:16:22 · 350 阅读 · 0 评论