文章地址:https://arxiv.org/pdf/1909.03477
文章内容
虽然注意力机制和卷积神经网络CNN具有对齐方面及其上下文词的固有能力,其被广泛用于基于方面的情感分类。然而上述方法却很难捕获或解释文本中的句法依赖和长依存关系,比如注意力机制倾向于增加目标词周围词的权重,所以可能会将错误的词作为情感判断的线索。为了解决上述问题,作者基于句子依赖树构建了图卷积神经网路(GCN),以利用句法信息和单词依赖关系,并提出了一个新的面向方面的情感分类框架,通过实验证明了其有效性。除此之外,该篇文章也是第一个将GCN用于该项任务当中的。
文章模型
通过LSTM进行词嵌入
方面级情感分析的任务在于分析句子中给定的目标实体的情感。对于嵌入,作者是将每个单词映射到一个低维的向量矩阵,然后通过双向LSTM学习句子的上下文表示。
获取面向方面的特征
作者通过在句子的句法依存树上应用多层图卷积,并在其顶部施加特定于方面的掩蔽层,来获得面向方面的特征
依赖树上的图卷积
作者首先通过spacy获取句子的依赖表示,并将其转化为邻接矩阵的形式,然后输入到GCN中进行图卷积操作。
除此之外,作者还对GCN输出的隐藏层向量应用位置感知转化,也就是根据句子中其他词离方面词的距离乘一个权重,公式如下:
特定于方面的掩蔽策略
在这里,作者将GCN输出中对于与aspect无关的单词的隐藏层向量输出全部掩蔽掉,即全部赋值为0。
方面感知注意力机制
这里作者将GCN的输出和原始的上下文向量做点积注意力机制,从而检索与方面词语义相关的重要特征,公式如下:
最终表示如下:
情感分类
作者将上述输出经过一层线性层后输入到softmax进行分类公式如下:
最终训练就是用的交叉熵损失和L2正则化: