融合Transformer和交互注意力网络的方面级情感分类模型

摘要: 现有的大多数研究者使用循环神经网络与注意力机制相结合的方法进行方面级情感分类任务。然而，循环神经网络不能并行计算，并且模型在训练过程中会出现截断的反向传播、梯度消失和梯度爆炸等问题，传统的注意力机制可能会给句子中重要情感词分配较低的注意力权重。针对上述问题，该文提出了一种融合Transformer和交互注意力网络的方面级情感分类模型。首先利用BERT(bidirectional encoder representation from Transformers)预训练模型来构造词嵌入向量，然后使用Transformer编码器对输入的句子进行并行编码，接着使用上下文动态掩码和上下文动态权重机制来关注与特定方面词有重要语义关系的局部上下文信息。最后在5个英文数据集和4个中文评论数据集上的实验结果表明，该文所提模型在准确率和F1上均表现最优。

• 关键词: 
• 方面词  /  
• 情感分类  /  
• 循环神经网络  /  
• Transformer  /  
• 交互注意力网络  /  
• BERT  /  
• 局部特征  /  
• 深度学习  

随着互联网的快速发展，越来越多的用户在网上购物、学习、社交等，并发表和分享个人言论。当用户对某一实体发表主观意见时，往往会以不同的情感极性来评价某一实体的不同方面。方面级情感分析是一项细粒度情感分析任务，包括方面词提取和方面级情感分类[1]。本文研究的是方面级情感分类任务，旨在判断评论语句S中某一特定方面词A的情感极性（如积极、中性和消极）[2]。例如，以评论文本“lots of extra space but the keyboa