阅读笔记Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
简介
这篇论文的研究领域是细粒度情感分类中的aspect term sentiment classification任务,这篇论文根据单词之间的依存关系构建图神经网络,之后使用图注意力网络与LSTM显示地捕捉与aspect相关的信息。
发表会议:EMNLP-IJCAI2019
论文地址:https://www.aclweb.org/anthology/D19-1549.pdf
文本表示
句子中的单词用Glove或bert初始化,之后用Manning发表在EMNLP2014上的” A fast and accurate dependency parser using neural networks.”来将句子转换为依存图。两个单词之间的边代表这两个单词是语义相关的。比如句子“delivery was early too.”的依存图为:
对于aspect “delivery”,模型可以将特征从距离为2的单词经过两次迭代之后传递到delivery。
Graph Attention Network(GAT)
GAT是GNN的一种变种,可以将一个aspect的语法上下文的特征传递到aspect。这篇论文的graph attention network使用的是multi-attention,就是将结点的维度分为K份,然后在K份上分别做attention,之后再将结果拼接起来。公式如下:
简写为:
总结:第L层的GAT操作相当于结合了aspect的L跳邻居的特征信息
Target-Dependent Graph Attention Network
为了显示利用target信息,论文使用LSTM来建模跨层的aspect信息,有文献证明这种方法可以消除噪音数据。具体做法是是用LSTM中的hidden隐含层来表示aspect target信息,在第0层的hidden只依赖于target周围的特征,而在L层,target的L跳邻居中与aspect相关的信息通过LSTM单元加入到其hidden层状态中。
给出之前的hidden状态与cell状态,论文首先用GAT得到一个临时状态表示作为LSTM的新观察值,之后用LSTM单元来更新hidden状态,总结一下,这篇论文的前向传播过程可以表示为:
总结:这里的LSTM相当于按照顺序输入距离aspect0跳、1跳、2跳…的信息,L次之后得到最终的aspect表示。
Final Classification
通过L层的TD-GAT网络,可以得到aspect target的最终表示,这里仅仅取出aspect的hidden状态,之后通过线性变换将隐含层状态变换到分类空间,最后通过softmax函数得到预测概率。
最后欢迎大家关注我的公众号NLP学习者