融入了外部Linguistically信息的情感分析模型

最近看了几篇nlp相关的顶会论文，又发现了一条提高文本分类精度的新思路，即增加外部的信息，就是这么简单的一句话，就蕴含了很丰富的道理，下面我来娓娓道来。

常规的处理自然语言的方法（无论是统计语言模型方法还是神经网络语言方法）所分析的对象都是一句话或者一篇文档，也就是说我们得到的关于某句话的所有信息只能全部来自于这句话的文本内容（传统的论文创新无非就是在处理这些文本的方式上进行改变，包括各种CNN和LSTM的处理结合方式）。
如果我们换个角度来思考问题，人类世界已经积累了很多外部的经验信息（比方说语法、词性），如果我们能在分析一句话的时候结合了人类总结的有用信息，无疑能够进一步提升文本的分类精度。下面我就来说一下这其中一篇比较有代表性的文章：《Linguistically Regularized LSTMs for Sentiment Classification》2017年的ACL。它加入的外部信息是 Linguistically。

这篇论文从语法的角度分析得到了几种对文本情感影响较大的关键词：情感词、否定词和程度副词。针对这些因素，以LSTM为主体模型，在最后的误差函数方面考虑了这些因素。具体细节如下：
首先我们来看看模型最终的误差函数：
$E(\Theta)=-\sum_i y^i logp^i + \alpha \sum_i\sum_tL{^i_t} + \beta (\Theta)^ 2$

损失函数由三项组成，第一项很明显就是交叉熵，最后一项中的$\Theta$代表了模型中的所有参数，第二项就是体现了本文标题的地方，所有的$L{^i_t}$则代表了所有的4种规范项，下面就来详细的说明一下这4种规范项。

1 Non-Sentiment Regularizer (NSR)（无情感特性的规则项）
$L{_t ^ {NSR}}=max(0,D_{KL}(p_t,p_{t-1})-M)$
其中$p_t$代表在前时刻的分布表示，而$p_{t-1}$代表了前t-1时刻的分布表示，而这些分布的代表就是$h_t$，即LSTM在 $t$ 时刻的隐藏层状态。
$D_{KL}=\frac{1}{2}\sum_{l=1}^cp(l)logq(l)+q(l)logp(l)$。
这里面的$p(l)$代表了概率，是把向量$h_i$带入到模型的最后一层softmax算出来的。说白了这个意思就是如果t时刻的词语不是一个情感词，那么前t-1时刻的LSTM隐藏层状态和t时刻的隐藏层状态所对应的情感极性不应该发生太大的变化，

2 Sentiment Regularizer (SR) (情感词)
$p_{t-1}^{SR}=p_{t-1}+S_c(x_t)$，$S_c \in C$ 其中$C$代表了情感类别数，$p_{t-1}$是前t-1时刻的情感分布，而$S_c(x_t)$则是情感增量，每一类极性相同的情感词都有对应的相同的情感增量，这个值可以是固定的，也可以是学习的参数，则误差函数为：
$L{_t^{SR}}=max(0,D_{KL}(p_t,p_{t-1}^{SR})-M))$

3 Negation Regularizer (NR) (否定词)
否定词相对于情感词就比较复杂了，文章中举了两个例子,”not good” “not bad” 同样使用的not否定词，但是最后对good和bad的情感shift是不一样的。为了解决这个问题，针对每一个否定词提出一个transformation矩阵$T_m \in R^{C*C}$，这个情感矩阵的参数是需要学习的。
$P_{t-1}^{NR}=softmax(T_j * P_{t-1})$
$P_{t+1}^{NR}=softmax(T_j * P_{t+1})$
$L_t^{NR}=min( max\{0,D_{KL}(p_t,p_{t-1}^{NR})-M\} , max\{0,D_{KL}(p_t,p_{t+1}^{NR})-M\} )$
需要说明的是这个的$p_{t-1}$是一个$C$维度的向量，乘上一个R$^{C*C}$矩阵之后，还是一个$C$维度的向量。外面的softmax其实就代表了一个归一化的操作，使得出的最终概率分布总和是1。如果最后的$C$维度向量为$[X_1,X_2......X_C]$，那么$X_i$使用softmax归一化后的结果$Y_i$为：$Y_i=\frac{exp(X_i)}{\sum_{k=1}^C{exp(X_k)}}$

4 Intensity Regularizer (IR) (程度副词)
这个和第三部分的否定词有着相同的性质，也是一个程度副词对应一个transformation矩阵，细节和第三部分相同，就不再赘述了。

上述的考虑虽然合理，但是还存在一个问题，就是没有考虑程度副词和否定词改变句子情感的范围，也就是说其中$P_t$和$P_{t-1}$的对比是不太合适的。为了缓解这个问题，论文又给出了一种双向LSTM的策略，即从两个方向对句子进行建模。因为程度副词和否定词对句子情感极性的改变部位通常在改词的后面，我们用$P_t^\rightarrow$代表正序的句子序列输入LSTM得出的结果，用$P_t^\leftarrow$代表逆序的句子序列输入LSTM得出的结果。那么否定词和程度副词的公式就变成了：
$P_{t-1}^{\rightarrow}=softmax(T_j * P_{t-1}^\rightarrow)$
$P_{t+1}^{\leftarrow}=softmax(T_j * P_{t+1}^\leftarrow)$
$L_t=min( max\{0,D_{KL}(p_t,p_{t-1}^{\rightarrow})-M\} , max\{0,D_{KL}(p_t,p_{t+1}^{\leftarrow})-M\} )$
同理我们也可以改变NSR和SR部分的公式，由单向的改为双向的。

从整体上讲，这篇论文在做情感分类的时候考虑Linguistically信息的方式和一般的不太一样，他很巧妙的把Linguistically信息和损失函数结合在了一起，使其能够和模型一起进行训练。使模型在优化LSTM参数的时候能够更加的准确合理，的确是一个比较值得学习的新思路。