读论文——Solving Aspect Category Sentiment Analysis as a Text Generation Task

第一遍

标题以及作者

摘要

我们考虑了一种利用预训练语言模型的更直接的方法，将 ACSA 任务转换为自然语言生成任务，使用自然语言句子来表示输出。我们的方法通过在预训练期间直接遵循任务设置，允许在 seq2seq 语言模型中更直接地使用预训练的知识。

结论

我们研究了一种用于方面类别检测 (ACD) 和方面类别情感分析 (ACSA) 的生成方法，该方法可以更好地利用 BART 的优势，通过不引入额外的模型参数来对输入进行语义级别的摘要。实验表明，我们提出的方法在句子级和文档级方面情感分析的基线模型上都获得了优越的性能。与传统的情感分类方法相比，我们的方法在零样本和少样本任务上也更强大。

1 介绍

首先，分类任务是通过在预训练表示之上使用神经网络执行的，具有单独的网络参数(和原来的结构是不同的，而且引入了额外参数)。其次，方面类别的整合使得特定方面的输入表示不完全是自然语言句子，这与预训练设置不同。直观地说，可以通过在任务级别连接预训练和 ACSA 来利用更多预训练的知识，而不仅仅是在表示级别。

ACD的模板是The <category_type> category is discussed

ACSA的模板是The sentiment polarity of <given_category> is <polarity_type>

除了基于分类的方法之外，我们还将掩码语言模型 (MLM) 作为基线，我们方法的自然对应物是掩码填充任务。如下图所示，与我们的方法不同，输出模板与输入连接，关键字被屏蔽以进行预测。这个 MLM 任务与 BERT 预训练密切相关。与这种 MLM 方法相比，生成方法可以更好地将输入和输出模板之间的相关性学习为两个相关序列，这已通过 BART 在抽象文本摘要方面的强大性能得到证明。

三个标准基准数据集的实验结果表明，生成方法和 MLM 方法都优于使用相同预训练语言模型的分类方法。最后，生成方法比 MLM 方法具有更强的性能，大大超过了以前最先进的方法。此外，使用生成方法，我们表明联合执行 ACSA 和 ACD 比传统管道产生更好的结果。

第二遍

2 相关工作

方面类别情感分析：

1. 单模型，经历了LSTM、双向LSTM、CNN+门控机制、将方面类别信息合并到句子编码器、从方面类别构建辅助句子，将ACSA转换为句子对分类任务、聚合句子中方面类别的单词的情绪来预测情感（多实例多标签学习）等
2. 联合模型，为了避免错误传播，提出了几种联合模型，它们联合执行 ACD 和 ACSA。端到端 LSTM 和端到端 CNN，它们一次生成所有方面类别及其相应的情感极性；约束注意力网络（CAN）来约束注意力权重分配；方面级情感胶囊模型（AS-Capsules），该模型通过共享组件利用方面类别和情感之间的相关性；另一种新的联合模型，其中包含一个共享的情感预测层。

以上所有模型都是分类方法，使用单独的输出网络来给出输出标签。相比之下，我们通过直接遵循语言模型的预训练过程来研究自然语言生成方法。

掩码语言模型

是通过在语言建模任务中定义特定的句子提示来利用来自预训练模型的信息。

1. 将文本分类变成完形填空问题

生成方法

过去的生成方法是输出一些系列标记而不是自然语言句子

3 方法

3.1 预训练语言模型

BERT是Transformer的编码器的堆叠,模型使用上下文词去预测被遮蔽的单词;BART是一个去噪自编码seq2seq模型,使用破坏的文档,训练模型去重建它。

3.2 分类方法

预训练模型用来编码输入得到H,将H送入多层感知机完成分类。

BERT分类采用[CLS]向量进行分类

BERT分类是序列生成模型，先对输入进行编码，然后进行解法，将解码的最后的一个输出作为分类向量。

3.3 掩码语言模型(MLM)

MLM通过填充缺失的标记来完成给定的提示，我们将包含给定类别和MASK标记的模板一起称为提示。

3.4 生成方法

3.4.1 如何创建模板

对于ACSA，我们采用手动模板，一个插槽用于给定类别标签另一个用于极性类型标签。

首先设定一个方面类别标签集合和一个情感极性标签集合，模板表示为"the sentiment polarity of <方面类别> is <情感极性>"

对于ACD任务，模板类型为"The <方面类别> category is discussed" 和 "The <方面类别> category is not discussed"分别表示该方面类别被接收和被拒绝。

3.4.2 推理

对于ACSA任务，首先，枚举给定情感类别的所有情感极性，组成不同的模板。例如：

给定price，输入句子X：the restauran was too expensive，组成三个模板：

the restaurant was too expensive The sentiment polarity of price is positive/negative/neutral

通过seq2seq模型，利用下列公式，计算三个输入的分数，谁的分数高，就属于哪个类

f ( T a i , p k ) = ∑ c = 1 m log ⁡ P ( t c ∣ t 1 : c − 1 , X ) f\left(\mathbf{T}_{a_{i}, p_{k}}\right)=\sum_{c=1}^{m} \log P\left(t_{c} \mid t_{1: c-1}, \mathbf{X}\right) f(Tai​,p