论文笔记SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis

SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis情感分析的情感知识增强预训练

Abstract
Sentiment Knowledge Enhanced Pre-training （SKEP），以学习多个情绪分析任务的统一情绪表示。在自动挖掘的知识的帮助下，SKEP进行情感掩蔽，构建三个情感知识预测目标，将词级、极性级和方面级的情感信息嵌入到预训练的情感表示中。In particular, the prediction of aspect-sentiment pairs is converted into multi-label classification, aiming to capture the dependency between words in a pair.
1 Introduction
情感分析涉及广泛任务，如句子层面的情感分类、方面层面的情绪分类、观点提取等。传统方法通常是分别研究这些任务
有许多具体的情感任务，这些任务通常取决于不同类型的情感知识，包括情感词，词极性和方面-情感对。我们假设，通过将这些知识整合到预训练过程中，学到的表示将更情绪化。
为了学习多个情绪分析任务的统一情绪表示，我们提出了Sentiment Knowledge Enhanced Pre-training（SKEP），其中包括sentiment knowledge about words，极性，和方面-情感对指导预训练的过程。首先从未标记的数据中自动挖掘情感知识（第3.1节）。With the knowled gemined，情感掩蔽（第3.2节）从输入文本中删除情感信息。然后，对预训练模型进行训练，以恢复具有三个情感目标的情感信息（第3.3节）。
SKEP将不同类型的情感知识整合在一起，为各种情感分析任务提供统一的情感表示。这是完全不同于传统的情绪分析方法，如下：
1）、SKEP为多个情感分析任务提供了统一的情感表示。
2）、在预训练过程中，三个情感知识预测目标被联合优化，以嵌入情感词，极性，方面-情感对的表示。尤其是方面情感对预测转换成多标签分类获取方面和情感之间的依赖关系。
3）、三种典型的情感任务SKEP 超越 RoBERTa (Liu et al.,2019)
2 BERT and RoBERTa
BERT (Devlin et al., 2019) is a self-supervised representation learning approach for pre-training a deep transformer encoder (Vaswani et al., 2017).BERT构建了一个自监督目标，称为masked language modeling (MLM) ，to pre-train the transformer encoder，并且只依赖于large-size unlabeled data.本文遵循BERT的方法来构造掩蔽目标进行预训练。
BERT learns a transformer encoder that 可以为输入序列的每个标记产生上下文表示.实际上，一个输入序列的第一个标记是一个特殊的分类标记【CLS】。[CLS]的最终隐藏状态通常用作输入序列的整体语义表示。In order to train the transformer encoder, MLM is proposed.类似于做完形填空，MLM根据占位符的预测序列中的屏蔽标记。 具体来说， parts of input tokens 被随机采样和替换。BERT统一选择15%的输入令牌。在这些抽样的令牌中，80%被替换为一个特殊的屏蔽令牌【MASK】，10%替换为随机令牌，其余10%保持不变。MLM目的是预测原始令牌在蒙面位置使用相应的最终状态。
RoBERTa在不改变神经元结构的情况下，优化的性能显著优于BERT，成为最优的预训练模型之一， RoBERTa还从标准bert中删除了下一个句子预测目标。为了验证我们的方法的有效性，本文使用RoBERTa作为一个强大的基线。
3 SKEP: Sentiment Knowledge Enhanced Pre-training

Figure 1: SKEP contains two parts: (1) 情感掩蔽识别输入序列中的的情感信息,基于自动挖掘的情感知识，并通过删除这些信息产生一个损坏的版本。 (2)情感预训练目标要求transformer从损坏的版本中恢复删除的信息。最上面的三个预测目标是共同优化的：情绪词（SW）预测（在x9上），词极性（SP）（在X6和X9），Aspect-Sentiment对（AP）的预测（x1） 笑脸符号表示正极性。值得注意的