基于分层注意力网络的方面情感分析

点击上方蓝字关注我们

基于分层注意力网络的方面情感分析

宋婷¹, 陈战伟², 杨海峰¹

1 太原科技大学计算机科学与技术学院，山西 太原 030024

2 中国移动通信集团山西有限公司，山西 太原 030001

 

摘要：基于深度学习的方面情感分析是自然语言处理的热点之一。针对方面情感，提出基于方面情感分析的深度分层注意力网络模型。该模型通过区域卷积神经网络保留文本局部特征和不同句子时序关系，利用改进的分层长短期记忆网络（LSTM）获取句子内部和句子间的情感特征。其中，针对LSTM添加了特定方面信息，并设计了一个动态控制链，改进了传统的LSTM。在SemEval 2014的两个数据集和Twitter数据集上进行对比实验得出，相比传统模型，提出的模型的情感分类准确率提高了3%左右。

关键词： 深度学习 ; 方面情感 ; 区域卷积神经网络 ; 分层长短期记忆网络 ; 注意力机制 ; 动态控制链

论文引用格式：

宋婷,陈战伟,杨海峰. 基于分层注意力网络的方面情感分析[J]. 大数据, 2020, 6(5): 82-91.

SONG T, CHEN Z W, YANG H F. Aspect sentiment analysis based on a hierarchical attention network[J]. Big Data Research, 2020, 6(5): 82-91.

1 引言

社交网络的使用日益频繁，如何从网络中挖掘并抽取用户的情感信息是自然语言处理的研究热点之一。基于方面的情感分析可针对不同方面挖掘用户深层次的情感，首先区分文本中同一实体的不同属性，这是方面情感分析的第一个子任务——方面词的提取，提取的内容可以是一个单词，也可以是一个短语；接着针对各个方面词分析情感极性。例如句子“Good food but dreadful service at that restaurant”，通过分析可知，该语句评论的实体是餐厅，分别对两个方面（即food和service）进行了相应的情感表达，二者的情感极性分别是积极和消极。在初期研究中，文本的分类问题使用的是传统的机器学习方法，首先在训练集上分析、提取数据信息，构建分类模型，从而预测未被标注的数据。传统机器学习构建手工特征的方法是人工规则和特征工程，这是一个较为烦琐的过程。近年来，深度学习被广泛应用在自然语言处理领域，并取得了较好的成绩，深度学习结合注意力机制在基于方面的情感分析中取得了比传统网络模型更好的效果。深度学习还被应用在机器翻译、句子对建模等方面。深度学习最大的特点是能自动学习批量数据，继而挖掘数据中的潜在特征，利用注意力机制加深对目标内容的关注，在训练过程中依次调整参数。

目前结合深度学习的方面情感分析模型还存在许多问题，如基于卷积神经网络的模型使用滤波器仅获取文本句子内部对象的依赖关系；单层的基于循环神经网络的模型结合注意力机制可获取文本的长距离关系，却忽略了句子间的依赖关系。

基于以上问题，本文提出基于方面情感分析的深度分层注意力网络模型（hierarchical attention network model for aspect-based sentiment analysis， HANMAS），该模型结合区域卷积神经网络和改进的分层长短期记忆网络（LSTM），围绕方面目标，既通过卷积神经网络（convolutional neural network， CNN）单词层和单词层LSTM保留了句子的局部特征信息和依赖关系，又通过句子层LSTM获得了句子间的情感依赖关系。本文提出的模型在传统LSTM中嵌入特定方面目标，设计一条动态控制链，通过控制单元获取对应的远距离情感信息，从而获得深层次的方面情感信息。笔者在SemEval 2014的两个数据集和Twitter数据集上进行实验，实验结果表明，相比于基于方面情感的传统神经网络模型和基于注意力机制的网络模型，本文模型的情感分类准确率相对较高。

2 相关工作

基于方面的情感分类属于细粒度分类任务，传统的情感分类方法有支持向量机、朴素贝叶斯、最大熵等，深度神经网络是当下比较常用的方法。

卷积神经网络和循环神经网络（recurrent neural network，RNN）是常用的针对情感分析任务的深度网络模型。卷积神经网络通过卷积操作提取文本的局部特征，无时序性；循环神经网络根据上一时序状态和当前输入确定当前网络状态，由此获得网络时序性。参考文献在传统卷积神经网络的基础上，依靠门控制部件输出不同特定方面对应的信息，使模型性能得到了有效提升。参考文献采用LSTM获取句子的情感信息，LSTM是RNN的变体&#x