AI_Challenger_sentiment_analysis_4th_基于序列生成的方法

本文整理自AI Challenger 2018 第4名PPT分享—细粒度情感分析赛道，仅作个人笔记使用。

总体方案设计

Idea

对问题进行分析可得到以下基本关系：

• 文本序列输入
• 20个粒度，每个粒度有4个类
• 粒度之间有相关性

1. 细粒度之间的相关性，如dish_taste与dish_recommendation，price_level与price_cost_effective
2. 粗粒度之间的相关性，比如others(overall experience，will to consume again)与其他粗粒度

模型架构

针对序列输入、序列输出以及粒度相关性这几个特性，很容易联想到seq2seq模型。

这个架构来自于论文SGM: Sequence Generation Model for Multi-Label Classification，作者对其进行了一些微小改动，后面我们会详细介绍这篇文章。

各模块介绍

数据处理

数据处理这一部分都很常规，具体分为下面几个部分：

• 分词工具使用了ltp
• 建立词典时，过滤掉出现次数小于5的词：训练集、验证集以及测试集a组成的语料，词典大小为66347
• 训练和预测时，词典中未出现的词用<unk>代替

词嵌入层

ELMo模型

词嵌入层使用了Elmo模型。基本结构如下：

从图中可见模型是双向的语言模型，前向的使用很预测不错，后向使用很预测味道。并且CNN层和输出层是共享参数的。$V_0$只有一个，而$V_1$由$V_1\leftarrow$和$V_1\to$组成，$V_2$同理。$V_1$、$V_2$、$V_3$可作为针对某一任务模型的词向量的输入。最简单的方法是取最上层的输出作为整个词向量表示，但是效果不是很好，更通常的做法是对几层的输出进行加权平均作为词向量表示。

预训练ELMo

作者指出ELMo模型参数和官方模型参数相同。利用所有评论预料训练词向量，共计约7600万tokens。

首先将训练集、验证集、测试集a整合起来作为语料库，然后对每条评论进行分词。之后统计词频过滤到出现次数小于5次的词并建立词典。再将语料库中出现的但是词典中未出现的词替换为<unk>并送入ELMo模型中与训练，最后将预训练模型保存下来。

生成词向量

利用预训练好的模型生成词向量，作为模型的输出。这里使用的是几层输出的加权平均，之后再进行降维到300。作者指出ELMo相对于Fasttext生成词向量F1score值可以提升0.013.
这里有一点作者没有说清楚，在训练分类模型的时候是否进行梯度回传更新ELMo模型的参数，如果需要更新，则模型的训练的速度会非常慢。我们假设不需要更新，那么我们可以使语料只进行一次ELMo模型，得到每句话的词向量表示，然后将其保存到硬盘上，之后分类模型每轮迭代我们只需要直接加载这个词向量即可。这样的话，ELMo每层输出的加权系数就是不可学习的了，只能根据经验来设置。

编码层

编码层的设置也比较常规：

• 两层双向LSTM
• 在输入与每层输出应用dropout
• 最大步长设置为600：可覆盖98%的样本点

注意力机制

作者使用了改进的加法注意力机制(BahdanauAttention)，所谓改进，仅仅是对每个 q ( Q = { q i } ) q(Q=\{q_i\}) q(Q={qi​})使用不同的参数来获得加权系数。

下面简要介绍一下常见的两种注意力机制：

Bahdanau Attention

该种注意力机制又叫做加法注意力。

对于翻译系统，解码器第$i$个时刻的输出概率分布可以表示为：
$$p(y_i|y_1,...,y_{i-1},x)=g(y_{i-1},s_i,c_i)$$
其中$s_i$是第$i$个时刻的隐状态，可以由如下方式求得：
$$s_i=f(s_{i-1},y_{i-1},c_i)$$
其中$c_i$是目标词$y_i$的context vector。
$c_i$可以表示为$h_i$的加权和：
$$c_i=\sum _{j=1}^{T_x}{\alpha }_{ij}{h}_j$$
$${\alpha }_{ij}=\frac{exp(e_{ij})}{{\sum }_{k=1}^{T_x}exp(e_{ik})}$$
$$e_{ij}=a(s_{i-1},h_j)$$
函数$a()$是一个对齐模型，它的值可以用来衡量输入位置$j$附近几个词和输出位置$i$的匹配程度。通常该模型常用一个前馈神经网络来实现。
注意到$e_{ij}$的计算方法，$a$是一个前馈神经网络，我们可以将其简化为如下形式：
$$e_{ij}=a(s_{i-1},h_j)=f(W_1{s}_{i-1}+W_2{h}_j)$$
可见，$s_{i-1}$与$h_j$并没有直接交互，而是通过线性组合的方式，这应该也是其又称为加法注意力的原因。

Luong Attention

该方法又叫作乘法注意力。

该方法与加法注意力相似度很高，仅仅是作了一点点调整，其中Attention计算方法如下：
$$a_t(s)=align(h_t,{\overline{h}}_s)=\frac{exp(score(h_t,{\overline{h}}_s))}{{\sum }_{s^{{}^{\prime }}}exp(score(h_t,{\overline{h}}_{s^{{}^{\prime }}}))}$$
其中，${\overline{h}}_{s^{{}^{\prime }}}$表示编码器的第$s^{{}^{\prime }}$个时刻的隐状态，$h_t$表示解码器第$t$个时刻的隐状态。
context vector计算如下：
$$c_t=\sum _{s^{{}^{\prime }}}{a}_{t{s}^{{}^{\prime }}}{\overline{h}}_{s^{{}^{\prime }}}$$
和加法注意力相比，改进了如下几点：

• Bahdanau Attention对Encoder和Decoder的双向的RNN的state拼接起来作为输出，LuongAttention仅使用最上层的RNN输出
• Bahdanau Attention的计算流程为$h_{t-1}$ → $a_t$ → $c_t$ → $h_t$(这里的$h$对应于第一个图中的$s$)，它使用前一个位置$t-1$的state计算t时刻的$h_t$。Luong Attention计算流程为 $h_t$ → $a_t$ → $c_t$ → ${\hat{h}}_t$使用$t$位置的state当前位置的${\hat{h}}_t$
• Bahdanau Attention只在concat对齐函数上进行了实验，LuongAttention在多种对齐函数进行了实验，下面给出LuongAttention设计的三种对齐函数:
  $$y=\{\begin{array}{ll}{h}_t^T{\overline{h}}_s& dot\\ h_t^T{W}_a{\overline{h}}_s& general\\ v_a^{T}tanh(W_a[h_t;{\overline{h}}_s])& concat\end{array}$$
  可见两种注意力机制最大的不同即在于注意力函数的计算方法，前者是利用$s_{t-1}$和$h_j$来计算$s_t$；后者是利用$s_t$和$h_j$来计算${\hat{s}}_t$。从直觉上来看后者更合理，但是在实际使用中两者差距并不是很大。

解码器

两层LSTM，每一层的输出应用dropout。解码方法使用了Global Embedding，相对于Beam search，F1提升了0.005.相较于原论文，该方法在此处使用时固定解码步数为20步，对应20个粒度。这20个粒度的顺序需要我们根据相关性来确定。

SGM

原论文为Sequence Generation Model for Multi-Label Classification。源码.

Abstract

这篇文章主要是为了解决多标签的分类问题。该类问题比单标签类别分类更复杂，因为类别之间往往存在相关性，已经存在的方法往往都忽略了这种相关性。该文章提出了将多标签分类问题转换为序列生成问题并利用带有新的解码结构的序列生成模型来解决这个问题。实验证明，该方法不仅能够捕捉不同labels之间的相关性，为且能为预测不同labels时选出贡献最大的词（注意力机制）。

Proposed Method

Overview

我们首先对多标签分类问题下一些定义，给定label space $L$, $L=l_1,l_2,...,l_L$.假设有一个包含了$m$个词的文本序列$x$，我们要做的事情就是将$L$的一个包含了$n$个labels的子集$y$和序列$x$对应起来。从序列生成的角度来看，多标签分类问题可以视为寻找使得条件概率$p(y|x)$最大的最优label序列$y^{\ast }$：
$$p(y|x)=\prod _{i=1}^{n}p(y_i|y_1,y_2,...,y_{i-1},x)$$
模型的整体结构如下：

首先，我们需要根据训练集中标签出现的频率为每个样本的label序列进行排序。高频labels放在前面。除此之外，bos和eos分别加到label序列的头部和尾部。
这里的注意力机制使用的是加法注意力，即$c_t$的计算依赖了$s_{t-1}$。我们还可以看出$s_t$由$c_t、s_{t-1}、g(y_{t-1})$计算得到。这里$y_{t-1}$是预测得到的$t-1$步在$L$的概率分布。函数$g$用于产生embedding vector。masked softmax用于输出概率分布$y_t$。

Sequence Generation

Encoder

one-hot编码的token经过embedding层得到词向量，然后输入双向LSTM中。这一步很常规。

Attention

这部分的求解公式跟前面矛盾,这里的$c_t$求解又依赖于$s_t$了。
$$e_{ti}=v_a^{T}tanh(W_a{s}_t+U_a{h}_i)$$
$${\alpha }_{ti}=\frac{exp(e_{ti})}{{\sum }_{j=1}^{m}exp(e_{tj})}$$
$$c_t=\sum _{i=1}^m{\alpha }_{ti}{h}_i$$

Decoder

这部分也是跟前面和图片矛盾：
$$s_t=LSTM(s_{t-1},[g(y_{t-1});c_{t-1}])$$
图片中和前文所述都是$s_t$是由$c_t$求解得到的。上式中$g(y_{t-1})$是$y_{t-1}$的分布中概率最高的label的embedding。
$$o_t=W_{o}f(W_d{s}_t+V_d{c}_t)$$
$$y_t=softmax(o_t+I_t)$$
其中，$I_t$是mask vector用来防止重复预测同一个标签，$f$是一个非线性激活函数。
$$y=\{\begin{array}{ll}-\infty & l_{i}repeatedwithprevious\\ 0& otherwise\end{array}$$
在训练阶段，损失函数是交叉熵损失函数。在预测阶段，我们应用了beam search算法来找到前几个路径。预测路径以eos结尾并加到候选路径集中。

Global Embedding

上文中embedding vector $g(y_{t-1})$是分布$y_{t-1}$中概率最高的label的embedding。这是一种贪心的做法，会导致前面步骤的误判到后面会越积累越大，这叫做exposure bias。Beam search算法可以在一定程度上缓解这种情况，然而它没有从根本上解决这个问题，因为exposure bias现象很可能出现在所有的候选路径中。$y_{t-1}$表示$t-1$步时预测的概率分布，很明显它的所有信息对于我们下一步的预测都是有帮助的。因此，应当把$y_{t-1}$步中的所有信息都考虑进去来缓解exposure bias问题。
基于上述思路，我们提出global embedding。令$e$表示$y_{t-1}$中概率最大的label的embedding，$\overline{e}$表示时刻$t$的加权平均embedding：
$$\overline{e}=\sum _{i=1}^L{y}_{t-1}^{(i)}{e}_i$$
其中$y_{t-1}^{(i)}$表示$y_{t-1}$的第$i$个元素，$e_i$表示第$i$个label的embedding。
global计算方法如下：
$$g(y_{t-1})=(1-H)\circ e+H\circ \overline{e}$$
其中$H$控制门用来控制加权平均的embedding的比例。
$$H=W_{1}e+W_2\overline{e}$$
$H$可以自动确定每个维度上的组合因子。通过考虑所有label的概率，模型能够减少由于前面步骤中错误的预测带来的损失。

Experiments and Details

数据集和超参数选取的细节可以参考原论文。

Analysis and Discussion

Global Embedding

$$g(y_{t-1})=(1-\lambda )\ast e+\lambda \ast \overline{e}$$
实验证明$\lambda$值对结果影响很大，手动选取不如学习得到。下图展示了选取不同的$\lambda$对实验结果的影响。

The Impact of Mask and Sorting

结论就是Mask和Sorting都很重要。

Error Analysis

我们还发现随着label序列长度的增加，所有方法的效果都会变差。SGM模型按照顺序生成labels，基于之前的预测的labels来预测下一个label。因此，即使样本包含正确的labels的相关信息很少，该模型仍然能够根据之前预测的相关的labels来实现正确的预测。

损失函数

评价指标为F1，与交叉熵优化目标不一致。因此采用Precision-Recall AUC损失函数，F1提升了0.003.关于该方法更多的信息可以参考这里.

训练策略

超参数

• SGD
• Batch size:64
• Adam optimizer
• Learning rate: 初始值为$1e-3$，没完成一个epoch降低为原来的0.8倍，降到$1e-4$之后保持不变

训练过程

epoch<=5时，每轮迭代计算一次F1值；epoch>5时，每一百步计算一次F1值。

提分点与tricks

数据增强方法

训练数据分类别样本点统计

数据增强策略

1. 上采样

• 样本点特别少
• F1特别低

2. 加入随机噪声

• 上采样得到的样本点，随机打乱句子顺序
  

数据增强效果

交叉验证策略