Grid Tagging Scheme for Aspect-oriented Fine-grained Opinion Extraction 论文阅读

Grid Tagging Scheme for Aspect-oriented Fine-grained Opinion Extraction

论文地址:https://aclanthology.org/2020.findings-emnlp.234.pdf
代码地址:https://github.com/NJUNLP/GTS

摘要:

研究目标与科学问题:
Aspect-oriented Fine-grained Opinion Extraction (AFOE) 旨在以意见对的形式从评论中提取aspect term和opinion term，或者额外提取aspect term的情感极性形成意见三元组。

现有的方法与问题:
目前两种最先进的管道方法来提取意见对OPE：
1.共提取（Wang et al., 2017; Dai and Song, 2019）
2.Aspect term Extraction (ATE) +Aspect-oriented Opinion Term Extraction (AOTE)
现有方法问题:
由于包含多个意见因素，完整的 AFOE 任务通常分为多个子任务并在管道中实现。流水线方法在实际场景中很容易受到错误传播和不便的影响。
本文的工作:
提出了一种新颖的标记方案，网格标记方案（GTS），仅通过一个统一的网格标记任务以端到端的方式解决 AFOE 任务。 此外，我们在 GTS 上设计了一种有效的推理策略，以利用不同意见因素之间的相互指示来进行更准确的提取。GTS 可以一步提取 OPE 的所有意见因素，而不是管道.
实验效果:
为了验证 GTS 的可行性和兼容性，我们分别基于 CNN、BiLSTM 和 BERT 实现了三种不同的 GTS 模型，并在面向方面的意见对提取和意见三元组提取数据集上进行了实验。 广泛的实验结果表明，GTS 模型显着优于强基线，并实现了最先进的性能。

1.介绍

AFOE任务案例
面向方面的细粒度意见提取示例:例句中，“hot dog”和“coffee”是两个方面词，“top notch”和“average”是两个意见词。

2.网格标记方案

2.1对于OPE任务定义和网格标记方案

OPE任务定义和网格标记方案:
给定句子s = {w1, w2, · · · , wn}, OPE 任务的目标是从句子中提取一组意见对P = {(a, o)m}
OPE任务网格标记方案:
(GTS)使用四个标记{A，O，P，N}来表示句子中任何单词对（wi，wj）的关系。（wi，wj）是无序的， 左图显示了GTS中例句的标记结果。

例句:The hot dogs are top notch but average coffee

AOPN的含义

2.2对于OTE任务定义和网格标记方案

OTE任务定义:
给定句子s = {w1, w2, · · · , wn},即从给定句子中提取一组意见三元组 T = {(a, o, c)m}
OTE任务网格标记方案:
GTS用特定的情感标签替换了P标签。GTS 采用标签集 {A, O, Pos, Neu, Neg, N} 来表示 OTE 任务中词对的关系。

例句: The hot dogs are top notch but average coffee

2.3解码部分

OPE 任务的解码细节:
由连续A标记组成的跨度被视为方面项，由连续O组成的跨度被检测为意见项。对于提取的方面项a和观点项o，我们认为它们形成了一个观点对，条件是wi时至少有一个词对（wi，wj）被标记为标签

OTE 任务解码部分:
计算方面术语和意见术语和之前一样， 计算情感极性是，当 wi ∈ a 和 wj ∈ o 时所有单词对 (wi, wj) 的预测标签。预测最多的情感标签 c ∈ {Pos, Neu, Neg} 被视为意见三元组 (a, o, c) 的情感极性。如果他们的预测标签不属于 {Pos, Neu, Neg}，我们认为 a 和 o 不能形成意见三元组。

3.模型架构

3.1编码部分

编码部分:
给定一个句子 s = {w1, w2,····, wn}，CNN、BiLSTM 或 BERT 可以作为 GTS 的编码器来生成词对 (wi, wj) 的表示 rij
如果是CNN, LSTM,为了获得词对（wi，wj）的鲁棒表示，我们还使用了注意层来增强wi和wj之间的连接。如下：

3.2推理策略

推理策略:
1.wi和其他单词（wj除外）之间的关系有助于检测。例如，如果由wi组成的词对的预测标记包含A，则词对(wi，wj)的标记不太可能是O，反之亦然。
2.之前回合对(wi，wj)的预测可以帮助推断出当前回合的（wi，wj）标签

p, z的初始化为

3.3损失函数

4.实验结果

OTE任务(三元组抽取任务):

4.1消融实验:

注意力机制:

推理策略:
推理策略为GTS-CNN模型带来了显著的改进。总的来说，GTS-CNN和GTSBILSM在两个数据集上分别以2次和3次的推理次数获得最好的结果。并且GTS-CNN在不同的推理次数下表现优于GTS-BiLSTM。相比之下，GTS-BERT仅以1次推理达到峰值，因为BERT包含丰富的上下文语义

5.总结(论文贡献):

• 我们提出了一种新颖的标记方案，网格标记方案（GTS）。 据我们所知，GTS 是第一个解决完整的面向方面的细粒度意见提取的工作，包括 OPE 和 OTE，它使用一个统一的标记任务而不是管道。 此外，这种新方案很容易扩展到从文本中提取其他对/三元组的任务。

• 对于不同意见因素之间潜在的相互指示，我们设计了一种有效的 GTS 推理策略，以利用它们进行更准确的提取。

• 我们分别用CNN、LSTM和BERT实现了三个GTS神经模型，并在OPE和OTE这两个任务上进行了广泛的实验，以验证GTS的兼容性和有效性