这里写目录标题
1. 主要工作
首先，我们通过重塑和修剪普通的依赖分析树来定义一个统一的面向方面的依赖树结构，该结构root指向目标方面词。
然后，我们提出了一个关系图注意力网络（R-GAT）来编码用于情感预测的新树结构。
2. 动机
将方面与其各自的意见词联系起来是ABSA任务的核心
最近的工作诉诸各种注意力机制来实现这一目标，并报告了吸引人的结果。 然而，由于语言形态和句法的复杂性，这些机制偶尔会失效。
比如对于"So delicious was the noodles but terrible vegetables"，terrible离noodles的距离相比delicious的距离更近，在其他的评论文本中也可能有noodles离terrible更近的情况，这导致在评估方面词noodles时注意力机制会给terrible分配更高的权重。
其他一些工作明确地利用句子的句法结构来建立连接。 其中，早期尝试依赖于手工制作的句法规则，尽管它们受制于规则的数量和质量。 然后使用基于依赖的解析树来提供更全面的句法信息。 为此，可以通过递归神经网络 (RNN) 从叶到根对整个依赖树进行编码，或者可以计算内部节点距离并将其用于注意力权重衰减。 最近，人们探索了图神经网络 (GNN) 以从依赖树中学习表示。 这些方法的缺点不容忽视。 首先，依赖关系，它可能表示方面和意见词之间的联系，被忽略了。 其次，根据经验，只有一小部分解析树与ABSA相关，没有必要对整个树进行编码。最后，编码过程是树依赖的，优化时批量操作不方便。
在本文中，我们重新检查了句法信息，并声称揭示与任务相关的句法结构是解决上述问题的关键。
我们提出了一种新颖的面向方面的依赖树结构，分三个步骤构建。 首先，我们使用普通解析器获得句子的依赖树。 其次，我们重塑依赖关系树，使其root指向相关的目标方面。
最后，执行树的修剪以仅保留与方面具有直接依赖关系的边。 这种统一的树形结构不仅使我们能够专注于方面和潜在意见词之间的联系，而且有助于批量和并行操作。 然后我们提出了一个关系图注意力网络（R-GAT）模型来编码新的依赖树。
R-GAT 将图注意力网络 (GAT) 推广到对带有标记边缘的图进行编码。 对 SemEval 2014 和 Twitter 数据集进行了广泛的评估，实验结果表明 R-GAT 显着提高了 GAT 的性能。
3. 构造基于方面的句法依存树
句子的句法结构可以通过依存解析(dependency parsing)来揭示，这是一项生成依存树来表示语法结构的任务。 单词之间的关系可以用有向边和标签来表示。 我们用三个例子来说明ABSA中aspect、attention和syntax之间的关系，如图1所示。在第一个例子中，like这个词用作动词，它表达了对aspect recipe的积极情绪，这是成功的由基于注意力的 LSTM 模型参与。但是，当它在第二个例子中用作介词时，模型仍然以很高的权重去关注它，从而导致错误的预测。 第三个例子展示了一种情况，一个句子中有两个不同的情感极性。 对于方面 chicken，LSTM 模型错误地为单词 but 和 dry 分配了高注意力权重，这导致了另一个预测错误。 这些示例展示了基于注意力的模型在此任务中的局限性。 通过在方面和其他词之间引入明确的句法关系，可以避免此类错误。 例如，如果模型注意到第三个示例中的 chicken 和 fine 之间的直接依赖关系，而不是和but的依赖关系
上述分析表明，与一个方面有直接联系的依赖关系可能有助于模型更多地关注相关的意见词，因此应该比其他关系更重要。 此外，如图 1 所示，依赖树包含丰富的语法信息，并且通常不植根于目标方面。
然而，ABSA 的重点是目标方面而不是树的根。 受上述观察的启发，我们提出了一种新的面向方面的依赖树结构，通过重塑原始依赖树以使其在目标方面成为根，然后修剪树以丢弃不必要的关系。
算法 1 描述了上述过程。 对于一个输入句子，我们首先应用一个依赖解析器来获得它的依赖树，其中 rij 是从节点 i 到 j 的依赖关系。 然后，我们分三步构建面向方面的依赖树。
首先，我们将目标方面放在根部，其中多词方面被视为实体。 其次，我们将与切面直接连接的节点设置为子节点，保留原始依赖关系。 第三，丢弃其他依赖关系，取而代之的是，我们从aspect到每个对应节点放置一个虚拟关系n：con（n connected），其中n表示两个节点之间的距离。2如果句子包含多个aspect， 我们为每个方面构建一个独特的树。 图 2 显示了从普通依赖树构造的面向方面的依赖树。
这种面向方面的结构至少有两个优点。 首先，每个方面都有自己的依赖树，不受无关节点和关系的影响。 其次，如果一个方面包含多个单词，则依赖关系将在该方面进行聚合，这与 (Zhang et al., 2019; Sun et al., 2019b) 不同，后者需要额外的池化或注意力操作。
上述想法部分受到先前发现的启发（He et al., 2018a; Zhang et al., 2018; He et al., 2018b），专注于语法上接近于 目标方面。 我们的方法提供了一种直接对上下文信息进行建模的方法。
这种统一的树形结构不仅使我们的模型能够专注于方面和意见词之间的联系，而且还有助于训练期间的批处理和并行操作。 我们提出新关系 n:con 的动机是现有的解析器可能并不总是正确地解析句子，并且可能会错过与目标方面的重要连接。 在这种情况下，关系 n:con 使新树更加健壮。 我们在实验中评估了这种新关系，结果证实了这一假设。
4. R-GAT模型
为了对情感分析的新依赖树进行编码，我们提出了一个关系图注意网络 (R-GAT)，通过扩展图注意网络 (GAT)来编码带有标记边的图。
4.1 GAT网络
依存关系树可以用具有 n 个节点的图 G 来表示，其中每个节点代表句子中的一个词。 G 的边表示单词之间的依赖关系。 节点 i 的邻域节点可以用 Ni表示。 GAT 通过使用多头注意力聚合邻域节点表示来迭代更新每个节点表示（例如，词嵌入）：
4.2 R-GAT网络
GAT 沿依赖路径聚合邻域节点的表示。 但是，这个过程没有考虑依赖关系，可能会丢失一些重要的依赖信息。 直观地说，具有不同依赖关系的邻域节点应该有不同的影响。 我们建议使用额外的关系头来扩展原始 GAT。 我们使用这些关系头作为关系门来控制来自邻域节点的信息流。 这种方法的整体架构如图 3 所示。
具体来说，我们首先将依赖关系映射为向量表示，然后计算一个关系头为：
4.3 模型训练
我们使用 BiLSTM 对树节点的词嵌入进行编码，并为叶节点 i 的初始表示 h0 i 获得其输出隐藏状态 hi。 然后，另一个 BiLSTM 被用于对方面词进行编码，并将其平均隐藏状态用作该根的初始表示 h0 a。 在面向方面的树上应用 R-GAT 后，它的根表示 hl a 通过一个完全连接的 softmax 层并映射到不同情感极性上的概率。
最后，使用标准交叉熵损失作为我们的目标函数：
5. 实验
在本节中，我们首先介绍用于评估的数据集和用于比较的基线方法。 然后，我们报告了从不同角度进行的实验结果。 最后用几个有代表性的例子进行了错误分析和讨论
5.1 数据集
我们的实验中使用了三个公众情绪分析数据集，其中两个是 SemEval 2014 任务中的笔记本电脑和餐厅评论数据集（Maria Pontiki 和 Manandhar，2014）4，第三个是（Dong 等人）使用的 Twitter 数据集。 , 2014)。 三个数据集的统计数据见表1
5.1.1 实现细节
Biaffine Parser (Dozat and Manning, 2016) 用于依赖解析。 依赖关系嵌入的维度设置为 300。对于 R-GAT，我们使用 GLoVe 的 300 维词嵌入（Pennington 等人，2014）。
对于 R-GAT+BERT，我们使用预训练的 BERT 的最后隐藏状态来表示单词，并在我们的任务中对其进行微调。 实验中使用了 BERT的 PyTorch 实现。 R-GAT 显示更喜欢 [0.6, 0.8] 之间的high dropout率。 至于 R-GAT+BERT，它在 0.2 左右的低 dropout 率下效果更好。 我们的模型使用默认配置的 Adam 优化器 (Kingma and Ba, 2014) 进行训练。
5.2 Baseline Methods
一些基于方面的情感分析的主流模型用于比较，包括：
• Syntax-aware models: LSTM+SynATT (He et al., 2018a), AdaRNN (Dong et al., 2014), PhraseRNN (Nguyen and Shirai, 2015), ASGCN (Zhang et al., 2019), CDT (Sun et al., 2019b), GAT (Velickovi ˇ c et al. ´ , 2017) and TD-GAT (Huang and Carley, 2019).
• Attention-based models: ATAE-LSTM(Wang et al., 2016b) , IAN (Ma et al., 2017), RAM (Chen et al., 2017), MGAN (Fan et al., 2018), attention-equipped LSTM, and fine-tuned BERT (Devlin et al., 2018).
• Other recent methods: GCAE (Xue and Li, 2018), JCI (Wang et al., 2018) and TNET (Li et al., 2018).
• Our methods: R-GAT is our relational graph
attention network. R-GAT+BERT is our RGAT with the BiLSTM replaced by BERT, and the attentional heads of R-GAT will also
be replaced by that of BERT
5.3 结果和分析
5.3.1 整体表现
所有模型的整体性能如表 2 所示，从中可以注意到几个观察结果。 首先，R-GAT 模型优于大多数基线模型。 其次，当与我们面向方面的依赖树结构中的关系头结合时，GAT 的性能可以显着提高。 它还优于 ASGCN 和 CDT 的基线模型，后者也以不同的方式涉及句法信息。 这证明我们的 R-GAT 更擅长对句法信息进行编码。 第三，基本的 BERT 已经可以显着优于所有现有的 ABSA 模型，这证明了这个大型预训练模型在这项任务中的强大功能。 尽管如此，在合并了我们的 R-GAT (R-GAT+BERT) 之后，这个强大的模型得到了进一步的改进，并达到了新的STOA表现。 这些结果证明了我们的 R-GAT 在捕获用于情感分析的重要句法结构方面的有效性
5.3.2 多方面的效果
一个句子中多个方面的出现对于 ABSA 来说是非常典型的。 为了研究多个方面的影响，我们在一个句子中挑选出具有多个方面的评论。 每个方面都用其平均 (GloVe) 词嵌入表示，句子的任何两个方面之间的距离是使用欧几里德距离计算的。 如果有两个以上的方面，则对每个方面使用最近的欧几里得距离。 然后，我们选择了三个模型（GAT、R-GAT、R-GAT+BERT）进行情感预测，并在图 4 中绘制了不同距离范围的aspect准确度。我们可以观察到距离越近的aspects往往导致越低 准确度得分，表明句子中语义相似度高的方面可能会混淆模型。 然而，使用我们的 R-GAT，GAT 和 BERT 都可以在不同的范围内得到改进，表明我们的方法可以在一定程度上缓解这个问题
5.3.3 不同解析器的效果
依赖解析在我们的方法中起着至关重要的作用。 为了评估不同解析器的影响，我们基于 R-GAT 模型使用两个著名的依赖解析器进行了一项研究：Stanford Parser (Chen and Manning, 2014) 和 Biaffine Parser (Dozat and Manning, 2016)。6 表 3 显示了两个解析器在 UAS 和 LAS 指标中的性能，然后是它们在基于方面的情感分析中的性能。从表中可以看出，我们可以发现，更好的 Biaffine 解析器会导致更高的情感分类准确度。 此外，这进一步意味着，虽然现有的解析器可以正确捕获大多数句法结构，但我们的方法有可能随着解析技术的进步而进一步改进。
5.3.4 消融研究
我们进一步进行了消融研究，以评估面向方面的依赖树结构和关系头的影响。 我们在普通依赖树上展示结果以进行比较。 从表 4 中，我们可以观察到 R-GAT 通过在所有三个数据集上使用新的树结构得到了改进，而 GAT 仅在餐厅和 Twitter 数据集上得到了改进。 此外，在去除虚拟关系 n:con 后，R-GAT 的性能大幅下降。 我们手动检查了错误分类的样本，发现其中大部分可归因于解析结果不佳，其中方面及其意见词连接不正确。 这项研究验证了添加 n:con 关系可以有效地缓解解析问题，并使我们的模型具有鲁棒性。 在本文中，根据经验测试将 n 的最大数量设置为 4。 还探索了 n 的其他值，但结果并没有更好。 这可能表明与目标方面的依赖距离过长的单词不太可能对这项任务有用。
5.3.5 错误分析
为了分析包括我们在内的当前 ABSA 模型的局限性，我们从餐厅数据集中随机选择了 100 个由两个模型（R-GAT 和 R-GAT+BERT）错误分类的示例。 在调查了这些不良案例后，我们发现背后的原因可以分为四类。 如表 5 所示，主要原因是误导性的中性评论，其中大部分包括对目标方面的意见修饰符（单词），具有直接的依赖关系。 第二类是由于理解困难，这可能需要深度的语言理解技术，例如自然语言推理。 第三类是只推荐或不推荐人们尝试的忠告，句子中没有明显的情感线索。 第四类是由双重否定表达式引起的，这对于当前的模型来说也是困难的。 通过错误分析，我们可以注意到，虽然目前的模型已经取得了令人瞩目的进步，但仍然存在一些超出其能力范围的复杂句子。 应该有更先进的自然语言处理技术和学习算法来进一步解决这些问题。
6 结论
在本文中，我们提出了一种有效的方法来编码用于基于方面的情感分析的综合语法信息。 我们首先定义了一种新颖的面向方面的依赖树结构，通过重塑和修剪普通的依赖分析树，使其在目标方面成为根。
然后，我们演示了如何使用我们的关系图注意力网络 (R-GAT) 对新的依赖树进行编码以进行情感分类。 在三个公共数据集上的实验结果表明，使用 R-GAT 可以更好地建立方面和意见词之间的联系，从而显着提高 GAT 和 BERT 的性能。 我们还进行了消融研究，以验证新树结构和关系头的作用。 最后，对错误预测的示例进行了错误分析，从而对这项任务产生了一些见解。
1037
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
