Learning Span-Level Interactions for Aspect Sentiment Triplet Extraction 论文阅读 ACL2021

摘要

方面情感三元组提取 (ASTE) 是 ABSA 的最新子任务，它输出方面目标的三元组、相关情感和相应的意见词。最近的模型以端到端的方式执行三元组提取，但严重依赖每个目标词和意见词之间的交互。因此，它们不能很好地处理包含多个词的目标和意见。我们提出的跨级方法在预测他们的情感关系时明确考虑了目标和意见的整个跨度之间的相互作用。因此，它可以使用整个跨度的语义进行预测，确保更好的情感一致性。为了减轻跨度枚举引起的高计算成本，我们提出了一种双通道跨度修剪策略，通过结合来自方面术语提取 (ATE) 和意见术语提取 (OTE) 任务的监督。这种策略不仅提高了计算效率，而且更恰当地区分了意见和目标跨度。我们的框架同时为 ASTE 以及 ATE 和 OTE 任务实现了强大的性能。特别是，我们的分析表明，我们的跨度级方法在具有多词目标或意见的三元组的基线上取得了更显着的改进。

针对问题：

Aspect Sentiment Triplet Extraction ASTE (Peng et al.， 2019)的最初解决方法是两阶段的管道方法。管道方法打破了三重结构中的相互作用。此外，管道方法通常存在错误传播问题。最近的端到端方法(Wu et al.， 2020;Xu et al.， 2020b;Zhang et al.， 2020)可以联合提取目标术语和意见术语，并对其情感关系进行分类。一个缺点是，它们严重依赖于单词与单词之间的互动来预测目标-观点对的情感关系。需要注意，方面目标和意见通常包含多个单词。然而，之前的方法(Wu et al.， 2020;Zhang et al.， 2020)独立预测每个词-词对的情感极性，在形成三连词时不能保证它们的情感一致性。
举例：如果只考虑单词与单词之间的交互，很容易错误地预测“enjoy”在“Windows”上表达的是正面情绪。

xu提出了一个位置感知标记方案，允许模型将目标跨度中的每个词与所有可能的观点跨度相结合，即方面词到观点跨度的交互(或者反之，方面跨度到观点词的交互)。然而，它仍然不能directly model the span-to-span interactions between the whole target spans and opinion spans.

解决方法：

本文中，我们提出了一个Span-based ASTE模型(Span-ASTE)，该模型首次在预测方面目标和意见对的情感关系时直接捕捉 span-to-span interactions。当然，它也可以适当地考虑单字方面或意见。我们的模型显式地生成所有可能目标和意见范围的跨度表示，并独立地预测所有可能目标和意见对的成对情感关系。

2 Span-based ASTE

2.1 Task Formulation

sentiment triplet被定义为(target, opinion, sentiment)其中sentiment ∈ {Positive, Negative, Neutral}.

2.2 Model Architecture

Span-ASTE 包含三个模块: sentence encoding, mention module, 和triplet module.
句子首先输入到句子编码模块，获得token-level表示，从中我们派生出每个枚举span的span-level表示，如“did not enjoy”、“Windows 8”。
然后我们采用ATE和OTE任务来监督我们提出的双通道跨度剪枝策略，会获得修剪后的目标和意见候选词。比如“Windows 8” and “not enjoy” 最后，对每个target candidate 和opinion candidate进行耦合，确定他们之间的情感关系。

2.2.1 Sentence Encoding

encoding methods用BiLSTM和BERT.

Span Representation

2.2.2 Mention Module

我们利用A TE和OTE，通过预测意见和目标跨度的得分来指导我们的双通道跨度剪枝策略。注意，在此阶段，目标术语和意见术语还没有配对。该模块预测刚刚枚举的span类型m∈{T target, Opinion, Invalid}。

Pruned Target and Opinion

对于长度为n的句子X，其枚举区间数为O(n2)，而在后期阶段(即三元组模块)，所有观点与目标候选区间之间可能存在的对数为O(n4)。因此，当使用基于跨的方法时，考虑所有可能的成对交互是不实际的。
因此，我们提出使用双通道剪枝策略，从而产生两个独立的方面和观点剪枝池。opinion 和 target选择依据：公式（4）选分最高的。

2.2.3 Triplet Module

Target Opinion Pair Representation

把Target候选（St）和 Opinion候选（So）组对儿

Sentiment Relation Classifier

把刚才的span对儿给前馈神经网络，确定情感关系的概率r ∈
R = {Positive, Negative, Neutral, Invalid}

2.3 Training

训练目标定义为mention module与 triplet module.的负对数似然的和。

3 Experiment

3.1 Datasets

餐厅域的3个数据集和笔记本电脑域的1个数据集。

3.3 Baselines

基线可以总结为两组:管道方法和端到端方法

3.4 Experiment Results

3.5 Additional Experiments

如之前所述，我们使用了ATE和OTE子任务来指导我们的跨度剪枝策略。为了检验Span-ASTE是否能有效地提取target spans和 opinion spans，我们还对四个数据集上的A TE和OTE任务进行了评估。

结果说明：我们的span-level方法，不仅有利于情感三元组抽取，而且通过考虑每个span的语义而不是依赖于基于标签的方法的解码启发式，改进了目标和意见术语的抽取。

4 Analysis

4.1 Comparison of Single-word and Multi-word Spans

Single-word 指Both target and opinion terms in a triplet are single word spans,
Multi-Word指: At least one of the target or opinion terms in a triplet is a multi-word span.
GTS严重依赖word-pair interactions 抽取 triplets, 而我们的方法明确考虑了span-to-span interactions.说明我们的结果是优秀的。

后面还更进一步比较了multi-word target 和 multi-word opinion term情况下的结果

4.2 Pruning Efficiency

为证明双通道剪枝策略的有效性，我们还将其与一种更简单的策略，即不区分opinion and target candidates.的单通道剪枝(SC)进行了比较。

6 Conclusions

在本研究中，我们提出一种span-level 方法Span-ASTE来学习target
spans 和opinion spans之间的交互作用。它可以解决现有方法的局限性，即只考虑单词与单词之间的交互。我们还建议将ATE和OTE任务作为我们的双通道剪枝策略的监督，以减少枚举的目标和意见候选词的数量，以提高计算效率，并最大限度地将有效的目标和意见候选人配对在一起。对于ASTE以及A TE和OTE任务，我们的方法明显优于之前的方法，我们的分析证明了我们的方法的有效性。虽然我们在ASTE任务上取得了较好的性能，但性能的提高主要归功于对multi-word triplets的改进。

本文贡献：

(1) 我们定制了一种span-level方法，以明确考虑ASTE任务的span-to-span交互，并进行广泛的分析，以证明其有效性
(2) 提出了一种双通道跨度剪枝策略，结合了来自ATE和OTE任务的显式监督，以减轻跨度枚举带来的高计算成本，并最大限度地将有效目标和观点候选词配对在一起。

启发：那个框架图，既然不知道要多大范围，那就组合，然后选最可能的。当然组合伴随的问题就是计算量大，本文也提出了解决办法，双通道剪枝策略。优秀！

另3篇ACL2021的阅读笔记
Deep Context- and Relation-Aware Learning for Aspect-based Sentiment Analysis论文阅读 ACL2021.

Towards Generative Aspect-Based Sentiment Analysis ACL2021.

A Unified Generative Framework for Aspect-Based Sentiment Analysis ACL2021论文速看.
不足之处请指正多包含，谢谢~