A Unified One-Step Solution for Aspect Sentiment Quad Prediction (2023 ACL) 文献阅读

A Unified One-Step Solution for Aspect Sentiment Quad Prediction (2023 ACL)

一种统一的一步式方面情感四元预测方法
论文地址: https://arxiv.org/pdf/2306.04152.pdf
论文代码: https://github.com/Datastory-CN/ASQP-Datasets (只有数据集没有论文代码)

个人阅读笔记，水平有限，如有问题欢迎指正交流

1. 介绍

1.1 研究目标

方面情感四元预测(ASQP)是一个具有挑战性的任务。是基于方面级别情感分析的重要子任务，因为它提供了一个完整的方面级的情感结构。

1.2 科学问题

然而，现有的ASQP数据集通常较小且密度较低，阻碍了技术进步。为了扩展容量，本文中，我们发布了两个新的ASQP数据集，它们包含以下特征：更大的尺寸、每个样本更多的字和更高的密度。

1.3 方法

有了这样的数据集，我们揭示了现有的强大的ASQP基线的缺点，因此提出了一个统一的一步解决方案ASQP，即One-ASQP，检测方面的类别，并同时确定aspect-opion-sentiment(AOS)三元组。
我们的One-ASQP具有几个独特的优势：
(1)通过将ASQP分解为两个子任务并独立地同时求解它们，可以避免基于流水线的方法中的错误传播，并克服基于生成的方法中的缓慢训练和推理;
(2)通过在基于标记对的二维矩阵中引入特定于情感的角标记模式，我们可以利用情感元素之间更深层次的相互作用并有效地解码AOS三元组;
(3)我们设计的“[NULL]”标记可以帮助我们有效地识别隐含的方面或观点。

1.4 创新点/贡献

我们的贡献有三个方面：

1. 我们构建了两个新的ASQP数据集，包括更细粒度的样本，具有更高的四重密度，同时覆盖更多的领域和语言。值得注意的是，发布的zh-FoodBeverage数据集是第一个中文ASQP数据集，它为ASQP提供了在多语言环境中研究潜在技术的机会。
2. 我们提出了One-ASQP同时检测方面类别和共同提取方面意见情感三元组。One-ASQP可以吸收情感元素之间更深层次的相互作用，而不会产生错误传播，并克服基于生成的方法的缓慢性能。此外，精心设计的“[NULL]”标记有助于我们有效地识别隐含的方面或观点。
3. 我们进行了大量的实验，证明One-ASQP是有效的，并在某些情况下优于最先进的基线。

2. 任务案例

表1：针对各种ABSA任务的示例“touch screen is not sensitive”的输出。a、c、o、s和NEG的定义见第2节第1段。1.

3 数据集介绍

3.1 数据分布

我们构建了两个数据集1来扩展现有ASQP数据集的容量。

表2：ASQP任务的数据统计。#表示对应元件的数量。s、w、c、q分别代表样本、词、类别和四元组。EA、EO、IA和IO分别表示显性方面、显性意见、隐性方面和隐性意见。“-”表示不包括此项目。

3.2 数据来源

en-Phone是从2021年7月和8月多个电商平台的评论中收集的英文数据集，涵盖12个手机品牌。为了增加数据集的复杂性和四倍密度，我们提供了以下过滤步骤：（1）应用LangID工具包2过滤掉正文内容不是英文的评论;（2）滤除具有少于8个有效令牌的样本。
zh-FoodBeverage是第一个中文ASQP数据集，收集了2019-2021年食品和饮料类别下多个来源的中文评论。我们通过（1）过滤掉长度小于8且大于4000的样本来清理数据;（2）过滤掉有效汉字少于70%的样本;（3）利用分类器过滤出广告文本，所述分类器由具有90%分类准确率的营销文本训练而成。

4 模型架构

图1：One-ASQP的结构：同时解决ACD和AOSC。ACD由多类分类器实现。AOSC是由一个基于令牌对的2D矩阵与情感特定的号角标记。“[NULL]”行中的结果表明“very speedy”的意见没有任何方面。相比之下，“[NULL]”列中的结果意味着对“express package”方面没有意见。

5. 方法

5.1 ASQP制定

给定一个句子$x$，$ASQP$将预测所有方面级情感四元组$\{(c，a，o，s)\}$，其分别对应于方面类别、方面术语、观点术语和情感极性。方面类别$c$属于类别集合$C$; 方面术语$A$和意见术语$O$通常是$x$中的文本跨度，而如果没有明确提及目标(隐式术语)，即 a ∈ V x ∪ { ∅ } a ∈ V_x ∪\{\empty\} a∈Vx​∪{∅}和 o ∈ V x ∪ { ∅ } o ∈ V_x ∪ \{\empty\} o∈Vx​∪{∅}，其中$V_x$表示包含$x$的所有可能连续跨度的集合。情感极性s属于情感类之一， S = { P O S ， N E U ， N E G } S=\{POS，NEU，NEG\} S={POS，NEU，NEG}，其分别对应于积极情感、中性情感和消极情感。

5.2 One-ASQP

我们的一个ASQP解决了两个子任务，ACD和AOSC，同时，其中ACD通过一个分类器来确定方面类别，AOSC是提取所有$(a，o，s)$三元组。
给定具有$n$个token的$x$，我们构造输入如下：

其中引入令牌$[NULL]$用来检测隐式的方面术语或意见术语;更多详情请参见3.2.2.节。现在，通过预先训练的语言模型，两个任务(ACD,AOSC)共享一个共同的编码器来获得表示：

其中$d$是令牌表示大小。

5.2.1 方面类别检测 (ACD)

我们应用分类器来预测类别检测的概率：

其中$W_1\in R^{d\times d}$，$b_1\in R^d$，$W_2\in R^{|C|\times d}$.给你$|C|$是$C$中的类别数。因此，$C\in R^{|C|\times (n+1)}$，其中$C_{ij}$指示第$i^{th}$牌到第$j^{th}$个类别的概率。

5.2.1 三元组提取AOSC(ASTE)

我们解决AOSC通过一个基于标记对的二维矩阵与特定的情感角标记模式，以确定方面意见术语对和他们的情感极性的位置。

标记方案

我们定义了四种类型的标记：
(1)$AB\_OB$表示方面-观点术语对的开始位置的单元格。例如，由于**(“touch screen”, “not sensitive”) 是方面-意见对，所以2D矩阵中对应于(“touch”, “not”)** 的单元格由"$AB\_OB$"标记。
(2)$AE\_OE$表示方面-意见对的结束位置的单元格。因此**(“screen”， “sensitive”)的单元格由$AE\_OE$标记。
(3)$AB\_OE\_sentiment$定义了一个带有情感极性的单元格，其中行**位置表示一个方面的开始，列位置表示一个观点的结束。因此，单元格由$AB\_OE\_NEG$标记。由于SENTIMENT由三种类型的情感极性组成，因此在$AB\_OE-sentiment$中存在三种情况。
(4) "-"表示除上述三种类型之外的细胞。因此，我们有五种类型的独特标签， { A B _ O B ， A E _ O E ， A B _ O E _ P O S ， A B _ O E _ N E U ， A B _ O E _ N E G } \{AB\_OB，AE\_OE，AB\_OE\_POS，AB\_OE\_NEU，AB\_OE\_NEG\} {AB_OB，AE_OE，AB_OE_POS，AB_OE_NEU，AB_OE_NEG}。

三元组解码

由于标记的2D矩阵已经标记了所有方面对的边界标记及其情感极性，因此我们可以容易地解码三元组。
首先，通过逐列扫描2D矩阵，我们可以确定方面的文本跨度，
从$AB\_OE\_sentiment$开始，以$AE\_OE$结束。类似地，通过逐行扫描2D矩阵，我们可以得到观点的文本跨度，其从$AB\_OB$开始并以$AB\_OE\_sentiment$结束。最后，可以通过$AB\_OE\_sentiment$容易地确定情感极性。

隐式方面/意见术语提取

检测隐式的方面或意见在$ASQP$中是至关重要的。我们在输入的开始处附加$[NULL]$标记。然后，我们的$One\_ASQP$可以很容易地确定隐含方面和明确意见$(IA\&EO)$和明确方面和隐含意见$(EA\&IO)$的情况。
整个过程类似于上述三元组解码：当文本在$[NULL]$行跨越从$AB\_OB$开始到以$AB\_OE{\_}^{\ast }SENTIMENT$结束时，我们可以获得没有方面的显式意见术语。同时，当文本跨越$[NULL]$列时，从$AB\_OE\_sentiment$开始并以$AE\_OE$结束，我们可以获得没有意见的显示方面术语。如图1所示。我们可以快速获得相应的方面意见对$(NULL,veryspeedy)$ 和$"(expresspackage，NULL)"$。情绪极性也可以相应地通过$AB\_OE{\_}^{\ast }SENTIMENT$来确定。虽然$IA\&IO$的当前设置无法直接解决，但可以分两步解决。首先，我们可以使用诸如$ExtractClassify\_ACOS$。然后，我们可以分类方面类别和情感极性。然而，一个统一的解决方案与$One\_ASQP$是留给未来的工作。

标签评分

给定$H$，我们通过下式计算$(i,j{)}^{th}$单元到对应标签的概率：

其中$W_a\in R^{D\times d}$和$W_o\in R^{D\times d}$分别是方面token和意见token的权重矩阵，$b_a\in R^D$和$b_o\in R^D$分别是方面token和意见token的偏差。$D$是默认设置为400的隐藏变量大小。

5.3 训练过程

训练我们通过最小化以下损失函数来联合训练ACD和AOSC：

其中$\alpha$和$\beta$是为简单起见设置为1的折衷常数。ACD损失$L_{ACD}$和AOSC损失$L_{AOSC}$是两个交叉熵损耗，定义如下：

其中$C_{ij}$是由等式(3)计算的预测类别。 y i j C ∈ { 0 ， 1 } y^C_{ij} ∈ \{0，1\} yijC​∈{0，1}，并且当第$i$个令牌被分配给第$j$个类别时为1，否则为0。$P_{ij}$是由等式(6)计算的预测标记得分。对于所有五种类型的标签，而$Y_{ij}\in R^5$是地面实况独热编码。
在训练期间，我们实现负采样策略，以提高我们的One-ASQP在未标记四元组上的性能。我们将负采样率设置为0.4，这是(Li et al.2021年)取得了良好的成绩建议范围。具体来说，为了最小化等式(7)中的损失。我们随机抽取40%的未标记条目作为负实例，其对应于ACD中的$‘0’$和AOSC中的**‘-’**，如图1所示。(数据增强方法)

5.4 四元组解码

模型得到后，我们可以同时得到$AOSC$矩阵中的$ACD$和$AOS$三元组的类别序列。然后，我们通过它们的公共术语在一个步骤中解码四元组。
例如，如图1所示。我们可以通过公共术语合并(Logistics#Speed，express package)和(express package，NULL，POS)，“express package”，并获得方面情感四元组(Logistics#Speed，express package，NULL，POS)。(通过公共的方面术语或者意见术语对齐的方式解码方面情感四元组)
总的来说，我们的One-ASQP由两个独立的任务组成，$ACD$和$AOSC$。它们的输出仅在最终解码阶段共享，并且在训练期间不像基于流水线的方法所需要的那样相互依赖。这使我们能够有效地训练模型，并在训练和测试中一致地解码结果。

6 实验结果

6.1 对比实验

表3：餐馆-ACOS和膝上型ACOS的结果。用不同的种子在5次运行中平均得分。

表4：en-Phone和zh-FoodBeverage的结果。分数是用不同种子的五次运行的平均值。

表6: 分解表现（F1分数），以描述处理隐含方面或意见的能力。E和I分别代表Explicit和Implicit，而A和O分别表示Aspect和Opinion。

表7：One-ASQP对两次损失的消融研究。