阅读《SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge》

SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge

Abstract

现有的预训练语言表征模型大多忽略了文本的语言知识，而文本的语言知识可以促进自然语言处理任务中的语言理解。为了便于情感分析的下游任务，我们提出了一种新的语言表示模型，称为SentiLARE，该模型将包括词性标签(POS tag)和情感极性(sentiment polarity, 从SentiWordNet推断)在内的词级语言知识引入到预训练模型中。首先，我们提出了一种上下文感知情感注意机制来获取情感极性，同时通过查询SentiWordNet来获取每个词的词性标签。然后，我们设计了一个新的预训练任务——label-aware masked language来构建知识感知的语言表示。实验表明，SentiLARE在各种情感分析任务上获得了最新的性能。

Model

我们的任务是定义如下:给定一个文本序列$X=(x_1,x_2,\cdot \cdot \cdot ,x_n)$长度为n的,我们的目标是获得整个序列的表示$H=(h_1,h_2,\cdot \cdot \cdot ,h_n{)}^{ㄒ}\in R^{n\times d}$, 抓住了上下文信息和语言知识,$d$表示向量的维数表示。

图1给出了我们模型的概述，该模型包括两个步骤:
1)Acquiring the partof-speech tag and the sentiment polarity for each word;
2)Conducting pre-training via label-aware masked language model, which contains two pretraining sub-tasks, i.e., early fusion and late supervision.
与现有的BERT-style预训练模型相比，该模型利用部分词性标签和情感极性等语言知识丰富输入序列，并利用label-aware masked language model捕捉句子级语言表示和词级语言知识之间的关系。

Linguistic Knowledge Acquisition

input: a text sequence $X=(x_1,x_2,\cdot \cdot \cdot ,x_n)$, $x_i(1\le i\le n)$ indicates a word in the vocabulary
Stanford Log-Linear Part-of-Speech Tagger: get part-of-speech tag $po{s}_i$ of each word $x_i$, for simplicity, 只考虑五个tag: verb $(v)$, noun $(n)$, adjective $(a)$, adverb $(r)$, and others $(o)$
SentiWordNet: $(x_i,po{s}_i)$ —> m个different $pola{r}_i$

1. each of which contains a sense number, a positive / negative score, and a gloss $(S{N}_i^{(j)},P_{scor{e}_i}^{(j)}/N_{scor{e}_i}^{(j)},G_i^{(j)})$, 1 ≤ j ≤ m

2. ($SN$表示各个sense的排名，$P_{scor{e}_i}^{(j)}/N_{scor{e}_i}^{(j)}$表示由SentiWordNet得到的positive/negative得分，$G_i^{(j)}$代表每种sense的定义)

3. 受SentiWordNet的启发，我们提出了一种情境感知的注意机制，该机制同时考虑了sense排名和context-gloss相似性来确定每个sense的注意权重：
   $${\alpha }_i^{(j)}=softmax(\frac{1}{S{N}_i^{(j)}}\cdot sim(X,G_i^{(j)}))$$

• $\frac{1}{S{N}_i^{(j)}}$近似于sense频率的影响，因为sense等级越小，表示自然语言中使用该sense的频率越高
• $sim(X,G_i^{(j)}))$表示上下文与gloss of each sense之间的文本相似性，是无监督词义消歧中常用的一个重要特征。为了计算$X$和$G^{(j)}$的相似度, 我们用Sentence-BERT(SBERT)对它们进行编码，它实现了语义文本相似度任务的最新性能，并得到向量之间的余弦相似度:
  $$sim(X,G_i^{(j)})=cos(SBERT(X),SBERT(G_i^{(j)}))$$

Obtain the attention weight of eachsense: 计算每个$(x_i,po{s}_i)$对的情感得分, by simply weighting the scores of all the senses:
$$s(x_i,po{s}_i)=\sum _{j=i}^m{\alpha }_i^{(j)}(P_{scor{e}_i}^{(j)}-N_{scor{e}_i}^{(j)})$$

Finally, the word-level sentiment polarity $polari$ for the pair $(x_i,po{s}_i)$ can be assigned with $Positive/Negative/Neutral$ when $s(x_i,po{s}_i)$ is $positive/negative/zero$, respectively. Note that if we cannot find any sense for $(xi,posi)$ in SentiWordNet, $polari$ is assigned with $Neutral$.

Pre-training Task

上面得到了knowledge enhanced text sequence$X_k=(x_i,po{s}_i,pola{r}_i{)}_{i=1}^n$

我们设计了一种新的有监督的训练前任务，称为label-aware masked language model(LA-MLM)，该方法在预训练阶段引入句子级情感标签$l$，捕捉句子级语言表征与单个词之间的依赖关系。它包含两个独立的子任务:早期融合和后期监督（early fusion and late supervision）。

Early Fusion

$$(h_{cls}^{EF},h_1^{EF},...,h_n^{EF},h_{sep}^{EF})=Transformer({\hat{X}}_k,l)$$
$\hat{X}$包含：

• embeddingused in BERT
• the part-ofspeech (POS) embedding
• word-level polarity embedding

模型需要分别预测掩码位置的词、词性标签和词级极性

Late Supervision

基于[CLS]和掩码位置的隐藏状态，让模型预测句子级标签和单词信息
$$(h_{cls}^{LS},h_1^{LS},...,h_n^{LS},h_{sep}^{LS})=Transformer({\hat{X}}_k,l)$$