论文4：ACL2020-Relational Graph Attention Network for Aspect-based Sentiment Analysis

论文4：ACL2020-Relational Graph Attention Network for Aspect-based Sentiment Analysis

一.论文思想

1.前三篇论文的局限

（1）首先，忽略了依赖关系，这种依赖关系可能表示方面和意见词之间的联系。

（2）从经验来看，只有一小部分解析树与任务相关，没有必要对整个树进行编码。

（3）最后，编码过程是依赖于树的，使得在优化过程中批量操作不方便

2.本论文的思想

​ 在这篇文章中，我们重新检查了语法信息，==并指出揭示任务相关的句法结构是解决上述问题的关键。==我们提出了一种新的面向方面的依赖树结构，分三步构建。首先，我们使用一个普通的解析器获得一个句子的依赖树。其次，我们重塑依赖树，使其扎根于目标方面。最后，执行树的修剪以仅保留与方面有直接依赖关系的边。这种统一的树结构不仅使我们能够关注方面和潜在意见词之间的联系，而且便于批处理和并行操作。然后我们提出了一个关系图注意网络模型来编码新的依赖树。R-GAT将图注意力网络(GAT)推广到编码有标记边图。

二.模型结构

1.构建面向方面的依存树

2.依存树中的各节点经过词嵌入（Glove）后，叶子节点和根节点分别输入到两个Bi-LSTM中

3.Bi-LSTM的输出经过R-GAT网络（在GAT的基础上进行改进，加入了relational heads）

4.最后进行分类输出

三.具体流程

1.面向方面的依存树构建

（1）基于Attention模型的局限

​ 句子的句法结构可以通过依存分析来发现，依存分析是一种生成依存树来表示语法结构的任务。ABSA的方面、注意力和句法之间的关系如上图三个例子所示：在第一个例子中，like这个词被用作动词，它表达了对方面recipe的积极情感，基于注意力的LSTM模型成功地注意到了这一点。然而，当它在第二个例子中用作介词时，模型仍然以很高的权重关注它，导致错误的预测。第三个例子展示了一个案例，一个句子中有两个方面具有不同的情感极性。对于方面chicken，LSTM模型错误地给单词but和dried分配了高关注权重，这导致了另一个预测错误。这些例子证明了基于注意力的模型在这项任务中的局限性。通过在方面和其他词之间引入明确的句法关系，可以避免这种错误。例如，如果模型在第三个例子中注意到了chicken和fine之间的直接依赖关系，而不是用but，可能会有所不同。

​ 上述分析表明，与一个方面有直接联系的依赖关系可能有助于模型更多地关注相关的意见词，因此应该比其他关系更重要。此外，如图所示，依赖树包含丰富的语法信息，并且通常不以目标方面为根。然而，ABSA的焦点是一个目标方面，而不是树根。受上述观察的启发，我们提出了一种新的面向方面的依赖树结构，通过重塑原始依赖树使其在目标方面扎根，然后修剪树以丢弃不必要的关系。

（2）面向方面的依存树构建

具体步骤如下：

（1）将方面词作为根节点，如果一个方面有多个词组成则将其视为一个整体

（2）保留与根节点直接相连的词，作为根节点的孩子节点，并保存他们之间原有依赖关系

（3）其他的依赖关系被取代，以n：con的方式，其中n代表方面词与对应词的距离

（4）如果句子包含不止一个方面，我们为每个方面构建一个唯一的树。

相关算法如下：

这种面向方面的结构至少有两个优点。首先，每个方面都有自己的依赖树，受无关节点和关系的影响较小。第二，如果一个方面有多个词组成，依赖关系将在方面聚集，不像论文1，2那样需要额外的池化和attention操作。

​ 本文的方法提供了一种对上下文信息建模的直接方法。这种统一的树结构不仅使我们的模型能够关注方面和意见词之间的联系，而且在训练过程中促进了批处理和并行操作。我们提出一个新关系n:con的动机是，现有的解析器可能不会总是正确地解析句子，并且可能会错过与目标方面的重要联系。在这种情况下，关系n:con使新树更加健壮。我们在实验中评估了这种新的关系，结果证实了这一假设。

2.Bi-LSTM

​ 我们使用BiLSTM对树节点的词嵌入进行编码，并获得其输出隐藏状态作为叶节点i的初始表示。然后，应用另一个BiLSTM对方面词进行编码，其平均隐藏状态被用作该根的初始表示。之后在面向方面的树上应用R-GAT后，它的根表示通过一个完全连接的softmax层进行分类。

3.R-GAT

（1）GAT

注：GAT算法沿依赖路径聚集邻域节点的表示。然而，这个过程没有考虑依赖关系（ dependency relation），这可能会丢失一些重要的依赖信息。直觉上，依赖关系不同的邻域节点应该有不同的影响。R-GAT对GAT进行了改进。

GAT：解析1 ; 解析2

（2）R-GAT

​ 我们建议用额外的关系头（relational heads）来扩展原始的GAT算法。我们使用这些关系头作为关系方向的门来控制来自邻近节点的信息流。这种方法的整体架构如上图所示。具体来说，我们首先将依赖关系映射到向量表示中，然后计算关系头，如下所示:

其中rij表示节点i和j之间的关系嵌入，R-GAT包含K个注意头和M个关系头。每个节点的最终表示通过以下方式计算:

4.softmax分类

​ 这里的分类对象是经过面向对象的依存树经过R-GAT后的根节点。

5.训练

最后，标准交叉熵损失被用作我们的目标函数:

其中D包含所有句子方面对，A表示出现在句子S中的方面，θ包含所有可训练的参数。

四.实验设置

1.数据集

（1）SemEval 2014 Task

（2）Twitter

2.参数设置

（1）依存树的解析：Biaffine Parser

（2） dependency relation embeddings：300维

（2）对R-GAT：300维词嵌入（Glove）dropout rate：[0.6-0.8]；

（3）对R-GAT+Bert：使用预先训练好的BERT的最后隐藏状态来表示单词，任务中对它们进行微调，dropout rate：0.2；

（4）优化器：Adam

3.比较模型

（1） Syntax-aware models: LSTM+SynA TT (Heet al., 2018a), AdaRNN (Dong et al., 2014),PhraseRNN (Nguyen and Shirai, 2015), AS-GCN (Zhang et al., 2019), CDT (Sun et al.,2019b), GA T (V eliˇ ckovi´ c et al., 2017) andTD-GA T (Huang and Carley, 2019).

（2）Attention-based models: A TAE-LSTM(Wang et al., 2016b) , IAN (Ma et al., 2017),RAM (Chen et al., 2017), MGAN (Fanet al., 2018), attention-equipped LSTM, andfine-tuned BERT (Devlin et al., 2018).

（3）Other recent methods: GCAE (Xue and Li,2018), JCI (Wang et al., 2018) and TNET (Liet al., 2018).

（4）Our methods: R-GAT，R-GAT+BERT（BiLSTM被BERT取代，R-GAT的注意头也将被BERT取代）

五.实验结论

1.R-GAT-Bert表现优异

2.对于存在多个方面的句子，每个方面都用它的平均(GloVe)单词嵌入来表示，并且使用欧几里德距离来计算句子的任何两个方面之间的距离。如果有两个以上的方面，则每个方面都使用最近的欧氏距离，我们可以观察到，距离较近的方面往往会导致较低的准确率，这表明句子中语义相似度较高的方面可能会混淆模型。然而，利用我们的R-GAT，GA T和BERT都可以在不同的范围内得到改进，表明我们的方法可以在一定程度上缓解这个问题

3.对比Stanford Parser和 Biaffine Parser我们可以发现Biaffine parser效果更好，更好的Biaffine解析器导致更高的情感分类准确率。此外，它还意味着，虽然现有的解析器可以正确地捕获大多数语法结构，但我们的方法有可能随着解析技术的进步而进一步改进。

4.通过消融研究发现添加n:con关系可以有效地缓解错误的解析问题，使我们的模型更加健壮。本文根据经验检验，将n的最大个数设置为4。也探索了n的其他值，但是结果并没有更好。这可能表明，与目标方面依赖距离过长的单词不太可能对这项任务有用。

5.通过分析分类错误的样本得出导致出错的四个原因：（1）误导性的中立评论（2）理解困难，可能需要自然语言推理等深度语言理解技巧（3）由建议引起这些建议只建议或不建议人们去尝试，在句子中没有明显的线索（4）双重否定表达导致.通过错误分析，我们可以注意到，虽然目前的模型已经取得了令人瞩目的进展，但仍有一些复杂的句子超出了它们的能力。应该有更先进的自然语言处理技术和学习算法来进一步解决它们。