XLNet模型: Generalized Autoregressive Pretraining for Language Understanding

链接

• 论文链接：https://arxiv.org/pdf/1906.08237v1
• 项目链接：https://github.com/zihangdai/xlnet
• Transformer-XL模型：https://blog.csdn.net/ACM_hades
• Transformer模型：https://blog.csdn.net/ACM_hades

一、背景知识

1.AR语言模型：

• 假设我们现在给定一个输入序列：$X=[x_1,x_2,\dots ,x_T]$, AR语言模型通过最大化下面这个前向自回归分解函数来完成训练：$$\underset{\theta }{\max }log{p}_{\theta }(X)=\sum _{t=1}^{T}log{p}_{\theta }(x_t|x_{<t})=\sum _{t=1}^{T}log\frac{exp(h_{\theta }(x_{1:t-1}{)}^{T}e(x_t))}{{\sum }_x^{\prime }exp(h_{\theta }(x_{1:t-1}{)}^{T}e(x^{\prime }))}$$
• 其中$h_{\theta }(x_{1:t-1})$表示的是t位置上下文表示，一般由神经网络产生，如：RNN或者transformer；$e(x)$表示的是$x$的词向量。

2.AE语言模型：

• BERT模型就是一个典型的AE语言模型，对于给定一个文本序列X：
  • 首先，从X中随机选取一定比例(15%)的词用[MASK]代替，得到序列$\hat{X}$,记那些被mask的字符为$\overline{x}$。
  • BERT预训练的目标就是从序列$\hat{X}$中预测$\overline{x}$，通过最大化下面公式达到这一目的：$$\underset{\theta }{\max }log{p}_{\theta }(\overline{x}|\hat{X})\approx \sum _{t=1}^T{m}_{t}log{p}_{\theta }(x_t|\hat{X})=\sum _{t=1}^T{m}_{t}log\frac{exp(H_{\theta }(\hat{X}{)}_t^{T}e(x_t)}{{\sum }_{x^{\prime }}exp(H_{\theta }(\hat{X}{)}_t^{T}e(x^{\prime }))}$$ 其中$m_t=1$表示$x_t$ 被masks了，没被mask掉的词$m_t=0$；$H_{\theta }$为transformer模型。

3.两种语言模型对比：

• 由BERT中的$\approx$号，可以看出BERT做了一个假设：被mask的字符$\overline{x}$之间是独立的。而再AR模型中没用这种假设。
• BERT模型的输入中手动加入了特殊字符$[MASK]$，这个字符几乎不会再下游任务中出现，这样导致了预训练和微调的不符，同时给输入带来了噪声。但是AR模型中没用。
• AR模型无法使用当前位置的后面的上下文信息。而BERT可以使用当前位置两侧的上下文信息。

二、排列语言模型

• 由上面的分析我们知道AR模型与BERT模型各有优势，为了结合他们的优势避免他们缺点，论文提出了排列语言模型 (permutation language modeling objective)，他保留AR模型的优点，并且允许模型去捕获双向的上下文信息。对于长度为$T$的输入序列$X$，他的排列数有$T!$种。如果我们将所以的排列都作为AR模型的输入，那么模型就可以学到获取双向的上下文信息。

• 排列语言模型可以用下面公式表示：$$\underset{\theta }{\max }{E}_{z\in Z_T}[\sum _{t=1}^{T}log{P}_{\theta }(x_{z_t}|x_{z<t})]$$其中$Z_T$表示$[1,2,3,\dots ,T]$所有排列的情况的集合。这个公式的实质是每次从排列集合中取出一个顺序，然后将联合概率分布$P_{\theta }(X)$按照这个顺序进行展开。经过这个公式对于每个位置可以利用出当前位置词以外的所有词来预测当前词。如下图：

  

• 如果使用标准Transformer和参数共享来实现排列语言模型，可能会有问题。假设我们预测原始输入序列$X$的某个排列第$z_t$个词$x_{z_t}$时我们使用下面公式：$$P_{\theta }(X_{z_t}=x│x_{z<t})=\frac{exp(e(x{)}^T{h}_{\theta }(x_{z<t}))}{{\sum }_x^{\prime }exp(e(x^{\prime }{)}^T{h}_{\theta }(x_{z<t}))}$$其中$h_{\theta }(x_{z<t})$表示在适当mask之后由共享Transformer网络产生的$x_{z<t}$的隐藏层表示。我们可以发现$h_{\theta }(x_{z<t})$不依赖于需要预测词$x_{z_t}$的位置$z_t$，即因此无论$z_t$为多少预测值是一样的，这是一个很大的错误。

• 注：举一个例子来解释上面的原因，对于长度为5的输入序列$X$，它会产生这样两种排列：$2-3-1-4-5$和$2-3-1-5-4$，两个排列中，4和5的上文一样，按照上面公式得到的输出概率分布就会一样，很显然这是错误的。

• 为了解决这个问题，论文中用下面公式来替换上面的公式：$$P_{\theta }(X_{z_t}=x│x_{z<t})=\frac{exp(e(x{)}^T{g}_{\theta }(x_{z<t},z_t))}{{\sum }_x^{\prime }exp(e(x^{\prime }{)}^T{g}_{\theta }(x_{z<t},z_t))}$$即将需要预测词的位置加入到上下文表示当中去。

• 这样我们得到两种表示：

  • 内容表示(content representation) $h_{z_t}=h_{\theta }(x_{z\le t})$,这于标准的transformer中的隐藏层状态是一样的。注意$z\le t$。
  • 询问表示(query representation) $g_{z_t}=g_{\theta }(x_{z<t},z_t)$,它不包含$x_t$自身信息。

• 这样排列语言模型的每一个transformer层都会输出两个表示：$h_{z_t}$和$g_{z_t}$。它们的计算公式为：$$g_{z_t}^{(m)}\leftarrow Attention(Q=g_{z_t}^{(m-1)}),KV=h_{z<t}^{(m-1)};\theta )$$$$h_{z_t}^{(m)}\leftarrow Attention(Q=h_{z_t}^{(m-1)}),KV=h_{z\le t}^{(m-1)};\theta )$$其中$Q，K，V$的含义于标准的transformer中是一样的。初始化为： $g_i^{(0)}=w，h_i^{(m)}=e(x_i)$.$w$是可训练的向量(可以理解为位置向量)，$e(x_i)$表示为第$i$个词的词向量。

  
  使用最上层的$g_{z_t}^{(M)}$来预测当前词。

• 由上图我们一发现，任何一个排列都可以用一个mask矩阵来唯一表示。

• 部分预测：模型并没有对整个输入序列的每个词进行预测，而是只预测序列后面部分的几个词。

  
  其中$c$是一个分界点，即预测$c$以后的所有词，$c$由一个超参数K指定：$$k\approx \frac{|z|}{|z|-c}$$

• 这不仅加快了模型的训练而且还节约了存储空间，因为不需要预测的词我们就不需要计算它的$g_{z_t}^{(m)}$。

三、引入Transformer-XL

• 由于我们的排列语言模型是AR模型，所有我们将最先进的AR语言模型Transformer-XL作为我们的基本模型，并在其后面引入了我们上面的方法。
• Transformer-XL模型有两个重要的技术：相对位置编码方案和段循环机制，现在我们考虑如何在我们的排列语言模型中使用这两个重要的技术：
  • 相对位置编码：我们的模型使用原始序列中相对位置来进行相对位置编码。
  • 段循环：
    • 不失一般性，假设我们有两个来自长序列S的段：$\hat{x}=S_{1:T}$和$x=S_{T+1:2T}$; $\hat{x}$和$z$分布是$[1,2,\dots ,T]$和$[T+1,T+2,\dots ,2T]$的排列。
    • 基于排列$\hat{z}$，我们处理第一段$\hat{x}$，然后缓存每一层的隐藏层状态${\hat{h}}^{(m)}$.
    • 然后处理第二段$x$，第二段的运算公式如下：$${\hat{h}}_{z_t}^{(m)}\leftarrow Attention(Q={\hat{h}}_{z_t}^{(m-1)},KV=[{\hat{h}}^{(m-1)},{\hat{h}}_{z\le t}^{(m-1)}])$$其中$[.,.]$表示拼接操作。
    • 注意：由于相对位置编码取决于原始序列，而各种排列$\hat{z}$只决定使用什么样的mask矩阵，所有一旦前一段的隐藏层状态${\hat{h}}^{(m)}$得到以后，后面的运算就与$\hat{z}$无关了。也就是说后一段的运动不需要知道前一段知道前一段排列顺序。
    • 上面是内容表示${\hat{h}}_{z_t}^{(m)}$的更新，对于询问表示$g_{z_t}^{(m)}$的更新是类似的。

四、模拟多段任务

• 许多下游任务具有多个输入段,例如问答任务的问题和回答。
• 在预训练阶段，与BERT类似，我们随机采样两个段(来自相同的上下文或不相同)并将两个段的拼接为一个序列再输入排列语言模型。但是我们只重用属于同一上下文的上一段上隐藏层状态${\hat{h}}_{z_t}^{(m-1)}$。
• 我们的数据格式与BERT类似：$[A,SEP,B,SEP,CLS]$，其中“SEP”和“CLS”是两个特殊符号，但是我们并不预测是否为下一句话。
• 相对段编码：我们没用像BERT那样将段的embedding向量加入到每个词的词向量中去，我们将相对位置编码扩展到段编码中来：
  • 给定序列中的一对位置i和j，如果$i$和$j$来自同一段，我们使用段编码$s_{ij}=s^{+}$,否则$s_{ij}=s^{-}$，其中$s^{+}$和$s^{-}$是每个注意力头(attention head)的模型参数是可学习的。换句话说，我们只考虑这两个位置是否属于同一段，而不是考虑它们来自哪个段
  • 当计算$i$位置对$j$位置的注意力分数时，我们使用$s_{ij}$来计算注意力分数的权重：$a_{ij}=(q_i+b{)}^T{s}_{ij},q_i$时询问向量(query vector), $b$是每个注意力头的偏置项参数向量，是可学习的。最后将$a_{i}j$添加到标准的注意力分数($Q^T\ast K)$中去。

五、XLNet模型总结

• 面举一个例来具体说一下XLNet模拟，假设我们当前的排序为：$3\to 2\to 4\to 1$
• content stream mask self-attention计算图如下：
  
• query stream mask self-attention计算如下图：