TomBert:一种基于Bert改进的多模态的情感识别方法

摘要

论文地址为Adapting BERT for Target-Oriented Multimodal Sentiment Classification

基于目标的情感分类是细粒度情感分类的重要任务。即我们关注输入句子中部分，视作目标，对这一部分进行情感分析。
传统方法只注重基于文本的情感分类，这边考虑图文多模态融合的方法，提出了新的TMSC（target-oriented multimodal sentiment classification)。具体做法是先利用BERT获得文本词嵌入，然后利用cross-attention，以target文本为掩码，做图像的attention，获得目标-图像的attention嵌入，最后叠加多层self-attention，获得的模型结果要好于传统TSC和TMSC。

引言

基于目标的情感分析，就是对句子输入中的目标词进行针对的情感分析。举例：

句子是“Georgina Hermitage is a #one2watch since she broke the 400m T37 WR.”
目标词是“ Georgina Hermitage”和“400m T37“
经过TSC，得到 Georgina Hermitage的情感分析是正向，400m T37的情感分析是负向

当前这些TSC方法的缺点：

1. 没有利用预训练模型来初始化模型参数，随机的参数初始化可能导致sub-optimal
2. 只关注文本，没有