[论文阅读]Bidirectional Machine Reading Comprehension for Aspect Sentiment Triplet Extraction

摘要

方面情感三元提取（ASTE）旨在识别评论句子中的方面及其相应的意见表达和情绪，是细粒度意见挖掘中的一项新兴任务。由于 ASTE 由多个子任务组成，包括意见实体提取、关系检测和情感分类，因此适当地捕获和利用它们之间的关联至关重要且具有挑战性。在本文中，我们将ASTE任务转换为多圈机器阅读理解（MTMRC）任务，并提出了一个双向MRC（BMRC）框架来应对这一挑战。具体来说，我们设计了三种类型的查询，包括非限制性提取查询、限制性提取查询和情绪分类查询，以构建不同子任务之间的关联。此外，考虑到方面情感三元组可以从一个方面或一个意见表达中推导出来，我们设计了一个双向的MRC结构。一个方向依次识别方面，意见表达和情感以获得三元组，而另一个方向首先识别观点表达，然后是方面，最后是情感。通过使两个方向相互补充，我们的框架可以更全面地识别三元组。为了验证我们方法的有效性，我们对四个基准数据集进行了广泛的实验。实验结果表明，BMRC实现了最先进的性能。

问题制定

三种queries：

non-restrictive 非限制：

$$Q^{\mathcal{N}}={\left\{q_i^{\mathcal{N}}\right\}}_{i=1}^{|Q^{\mathcal{N}}|}$$

restrictive 限制性：

$$Q^{\mathcal{R}}={\left\{q_i^{\mathcal{R}}\right\}}_{i=1}^{|Q^{\mathcal{R}}|}$$

sentiment 情感分类：

$$Q^{\mathcal{R}}={\left\{q_i^{\mathcal{R}}\right\}}_{i=1}^{|Q^{\mathcal{R}}|}$$

第一轮： non-restrictive 抽取 A或者O

第二轮： restrictive 根据O抽A 或者 根据A抽O

第三轮：预测每个aspect的sentiment

方法

Query 构造

A→O non-restrictive extraction query $q_{A\to O}^{\mathcal{N}}$：What aspects?

A→O restrictive extraction query $q_{A\to O}^{\mathcal{NR}}$: What opinions given the aspect $a_i$?

O→A non-restrictive extraction query $q_{O\to A}^{\mathcal{N}}$: What opinions?

O→A restrictive extraction query $q_{O\to A}^{\mathcal{R}}$: What aspect does the opinion $o_i$ describe?

Sentiment Classification query $qS$: What sentiment given the aspect $a_i$ and the opinion $o_{a_i,1}/\dots /o_{a_i,|O_{a_i}|}$

Encoding Layer

sentence : X = { x 1 , x 2 , … , x N } X=\left\{x_1, x_2, \ldots, x_N\right\} X={x1​,x2​,…,xN​}
query: $q_i=\{q_{i,1},q_{i,2},\dots ,q_{i,|q_i|\}}$

连接$q_i$和sentence X得到input：$I=\left\{[\mathrm{CLS}],q_{i,1},q_{i,2},\dots ,q_{i,|q_i|},[\mathrm{SEP}],x_1,x_2,\dots ,x_N\right\}$

编码层(BERT)学习每个token的上下文表示:
针对每一个token，初始representation $e_i$ 是将词嵌入${\mathbf{e}}_i^w$、位置嵌入${\mathbf{e}}_i^p$、segment 嵌入${\mathbf{e}}_i^g$相加。Bert 编码初始representation序列$E=\left\{{\mathbf{e}}_1,{\mathbf{e}}_2,\dots ,{\mathbf{e}}_{|q_i|+N+2}\right\}$，

Answer Prediction

对于非限制性和限制性提取查询，答案可能是从评论句子X中提取的多个意见实体。我们利用两个二元分类器来预测答案范围。具体来说，基于隐藏表示序列H，一个分类器预测每个token $x_i$是否是答案的起始位置，另一个分类器预测每个令牌是结束位置的可能性。

$$\begin{array}{rl}p\left(y_i^{\text{start }}\mid x_i,q\right)& =\mathrm{softmax}\left({\mathbf{h}}_{|q|+2+i}{W}_s\right)\\ p\left(y_i^{\text{end }}\mid x_i,q\right)& =\mathrm{softmax}\left({\mathbf{h}}_{|q|+2+i}{W}_e\right)\end{array}$$

根据现有工作（Devlin等人，2019），使用[CLS]的隐藏表示来预测情绪分类查询的答案。形式上，我们在BERT上附加一个三类分类器，用于预测情绪$y^S$，如下所示。

$$p\left(y^{\mathcal{S}}\mid X,q\right)=\mathrm{softmax}\left({\mathbf{h}}_1{W}_c\right)$$

Joint Learning

为了共同学习ASTE中的子任务并使其互惠互利，我们融合了不同query的损失函数。对于两个方向上的非限制性提取查询，我们将交叉熵损失降至最低，如下所示：

$$\begin{array}{r}{\mathcal{L}}_{\mathcal{N}}=-{\sum }_{i=1}^{|Q^{\mathcal{N}}|}{\sum }_{j=1}^N[p\left(y_j^{\text{start }}\mid x_j,q_i^{\mathcal{N}}\right)\log \hat{p}\left(y_j^{\text{start }}\mid x_j,q_i^{\mathcal{N}}\right)\\ +p\left(y_j^{end}\mid x_j,q_i^{\mathcal{N}}\right)\log \hat{p}\left(y_j^{end}\mid x_j,q_i^{\mathcal{N}}\right)]\end{array}$$

$p(\ast )$ 真实分布 $\hat{p}(\ast )$预测分布

限制性提取查询：

$$\begin{array}{r}{\mathcal{L}}_{\mathcal{R}}=-{\sum }_{i=1}^{|Q^{\mathcal{R}}|}{\sum }_{j=1}^N[p\left(y_j^{\text{start }}\mid x_j,q_i^{\mathcal{R}}\right)\log \hat{p}\left(y_j^{\text{start }}\mid x_j,q_i^{\mathcal{R}}\right)\\ +p\left(y_j^{\text{end }}\mid x_j,q_i^{\mathcal{R}}\right)\log \hat{p}\left(y_j^{\text{end }}\mid x_j,q_i^{\mathcal{R}}\right)]\end{array}$$

情感分类查询：

$${\mathcal{L}}_{\mathcal{S}}=-\sum _{i=1}^{|Q^{\mathcal{S}}|}p\left(y^{\mathcal{S}}\mid X,q_i^{\mathcal{S}}\right)\log \hat{p}\left(y^{\mathcal{S}}\mid X,q_i^{\mathcal{S}}\right)$$

$$\mathcal{L}(\theta )={\mathcal{L}}_{\mathcal{N}}+{\mathcal{L}}_{\mathcal{R}}+{\mathcal{L}}_{\mathcal{S}}$$

推理

在推理过程中，我们将不同查询的答案融合在一起，以获得三元组。

A → O : 先通过non-restrictive提取查询识别A，对于每个预测出来的aspect $a_i$，识别出对应的opinion expression $V_{A\to O}={\left[\left(a_k,o_k\right)\right]}_{k=1}^K$

O → A : $V_{O\to A}={\left[\left(a_l,o_l\right)\right]}_{l=1}^L$

V = V ′ ∪ { ( a , o ) ∣ ( a , o ) ∈ V ′ ′ , p ( a , o ) > δ } p ( a , o ) = { p ( a ) p ( o ∣ a ) i f ( a , o ) ∈ V A → O p ( o ) p ( a ∣ o )  if  ( a , o ) ∈ V O → A \begin{aligned}&V=V^{\prime} \cup\left\{(a, o) \mid(a, o) \in V^{\prime \prime}, p(a, o)>\delta\right\} \\&p(a, o)= \begin{cases}p(a) p(o \mid a) & i f(a, o) \in V_{A \rightarrow O} \\p(o) p(a \mid o) & \text { if }(a, o) \in V_{O \rightarrow A}\end{cases}\end{aligned} ​V=V′∪{(a,o)∣(a,o)∈V′′,p(a,o)>δ}p(a,o)={p(a)p(o∣a)p(o)p(a∣o)​if(a,o)∈VA→O​ if (a,o)∈VO→A​​​

V’ 表示交集， V’’表示差集

V ′′ 中的每个aspect-opinion对只有在其概率 $p(a,o)$ 高于给定阈值$\delta$时才有效

每个意见实体的概率是通过乘以其起始位置和结束位置的概率来计算的。

实验

数据集

#S表示句子数量，#T表示三元组数量

Baselines

• TSF : ASTE 的两阶段pipeline模型。在第一阶段，TSF提取aspect- sentiment对和opinion expression。在第二阶段，TSF通过关系分类器将提取结果配对成三元组。
• RINANTE+: 采用RINANTE（Dai和Song 2019）和额外的情感标签作为第一阶段模型，以联合提取方面，意见表达和情感。然后，采用TSF的第二阶段来检测意见主体之间的对应关系。
• Li-unified-R+: 统一共同识别各个方面及其情感，同时，它在第一阶段使用意见增强组件预测意见表达。然后，它还使用TSF的第二阶段来预测关系。
• RACL+R：首先采用RACL（陈和钱2020）来识别方面，意见表达和情感。然后，我们构造查询“匹配方面 $a_i$和意见表达式 $o_j$”来检测关系。请注意，RACL 也基于Bert。

实验结果

根据结果，我们的模型在所有数据集上都实现了最先进的性能。虽然在方面术语-情感联合提取和意见术语提取方面改进较小，但我们的模型显着超过基线，结果表明，在pipeline中提取意见实体和关系将导致严重的错误积累。通过利用BMRC框架，我们的模型有效地融合和简化了ATE，OTE和关系检测的任务，并避免了上述问题。

RACL+R比其他基线模型表现好：BERT可以学到更丰富的上下文语义

TSF和Li-unified-R+比RINANTE+表现好：引入了复杂的机制来解决统一标记模式带来的情感矛盾问题。

考虑到Peng等人（2020）发布的数据集删除了一个意见表达对应于多个方面的案例，我们还对AFOE数据集6（Wu et al. 2020a）进行了实验。

我们进一步将我们的模型与两个基线进行比较，包括IMN + IOG和GTS。

IMN + IOG是一种pipeline模型，它利用交互式多任务学习网络（IMN）（He et al. 2019）作为识别各个方面及其情感的第一阶段模型。然后，IMN+IOG使用inward-outward LSTM（Fan等人2019）作为第二阶段模型，提取面向方面的观点表达。

TS是一个最新的模型，它提出了一个网格标记模式，以端到端的方式识别方面情绪三元组。特别是，GTS还利用BERT作为编码器，并设计了一种推理策略来利用不同意见因素之间的相互指示。

我们的模型和GTS更好是因为联合方法可以解决错误传播的问题

消融实验

• 限制性提取查询是否在意见实体提取和关系检测之间建立了关联？

• 双向结构是否促进了方面-意见对提取的性能？

• 各方面与意见表达之间的关系是否增强了情感分类？

• BERT能带来多大的改进？

  

1. 限制性提取query

验证限制性提取query能否有效地获取和利用观点实体提取和关系检测之间的dependency。因此构建了一个类似于TSF的模型’Ours w/o REQ’

第一个阶段（观点实体提取和情感分类），从BMRC中移除了限制性提取query。

第二个阶段（关系检测），也是基于MRC，input query：匹配方面 $a_i$和意见表达式 $o_j$

虽然在方面提取和意见提取方面的表现相当，但“Ours w/o REQ”在三元组提取和方面-意见对提取方面的表现明显不如BMRC。原因是，随着限制性提取查询的删除，意见实体提取和关系检测是分开的，并且“Ours w / o REQ”不会捕获任何依赖项。这表示限制性查询在捕获依赖项时的有效性。

2. 双向MRC结构

和另外两个单向的模型’Ours w/o AO’ ‘Ours w/o OA‘进行比较

在没有 O→A 方向 MRC 的情况下，在意见项提取方面表现出较差的性能，而“Ours w/o AO”在方面项提取方面表现较差。这进一步损害了在方面-意见对提取和三元组提取方面的表现。原因是，方面和意见表达都可以初始化方面-意见对，当关系被迫仅由任何一个方面或意见来检测时，模型就会有偏差。通过引入双向设计，两个方向的MRC可以相互补充，进一步提高方面-意见对提取和三元组提取的性能。

3. Relation-Aware 情感分类

由于“Ours w/o REQ”将关系检测和情绪分类分为两个阶段，因此检测到的关系不能直接为情绪分类提供帮助。结果，虽然从联合学习中去除关系检测不会严重损害方面项提取的性能，但方面项和情感共同提取的性能均明显减弱。这清楚地表明，各方面与意见表达之间的关系可以有效提升情绪分类的表现。

4. BERT