XLNet: 通用自回归预训练语言理解（Generalized Autoregressive Pretraining for Language Understanding）

Reference:
1. XLNet: Generalized Autoregressive Pretraining for Language Understanding
2. XLNet原理解读

---

引言

AR模型以前向或后向的单向方式建模语言模型
$$p(\mathbf{x})={\prod }_{t=1}^{T}p(x_t|{\mathbf{x}}_{<t})orp(\mathbf{x})={\prod }_{t=T}^{1}p(x_t|{\mathbf{x}}_{>t})$$
AR模型仅以前向或后向建模语言模型，无法有效建模深层上下文。AE模型不进行显式密度估计，而是利用上下文信息，旨在从损坏输入中重建原始数据，如BERT，模型输入是部分token被替换为[mask]的序列，模型预训练是还原[mask]为真实的token。

BERT模型在微调阶段，真实输入中不存在[mask]标记，导致预训练和微调具有差异（pretrain-finetune discrepancy），而且，BERT也无法像AR模型那样以链式乘积形式建模LM，这是因为BERT模型假定序列中掩盖的tokens在给定所有未掩盖tokens时相互独立。

本文提出XLNet集AE模型和AR模型两者于大成：

1. 传统AR模型以单向方式建模LM，而XLNet通过最大化序列的所有因式分解顺序排列的期望对数似然，由于排列操作，使得模型可利用上下文信息预测某一个token；
2. XLNet不对数据进行掩盖，预训练与微调阶段一致，同时以AR方式建模，也能自然地使用联合概率分布通过因式分解预测token；
3. 集成Transformer-XL中的分段循环机制和相对位置编码进行预训练，可处理长文本，并对标准Transformer-XL重参数化，解决因式分解排序顺序任意、预测目标位置模糊的问题；
4. XLNet使用双流注意力将目标位置加入隐状态，而传统的基于排序的AR模型依赖于MLP网络中隐式的位置信息；

提出的方法

背景

给定文本序列$\mathbf{x}=[x_1,\cdots ,x_T]$，AR语言模型通过最大化前向自回归因式分解的对数似然进行预训练：
$$\underset{\theta }{\max }\log p_{\theta }(\mathbf{x})=\sum _{t=1}^T\log p(x_t|{\mathbf{x}}_{<t})=\sum _{t=1}^T\log \frac{\exp (h_{\theta }({\mathbf{x}}_{1:t-1}{)}^{\top }e(x_t))}{{\sum }_{x^{\prime }}\exp (h_{\theta }({\mathbf{x}}_{1:t-1}{)}^{\top }e(x^{\prime }))}\text{\hspace{1em}(1)}$$
式中，$h_{\theta }({\mathbf{x}}_{1:t-1})$表示${\mathbf{x}}_{1:t-1}$在RNNs或Transformers神经网络模型中输出的语义向量表示，$e(x_t)$是$x_t$的词向量。

概率理解： 假定使用RNNs网络，且词向量维度和隐状态维度相同，索引序列${\mathbf{x}}_{1:t-1}$在词向量矩阵进行look up转化为词向量，经RNNs并将$x_{t-1}$在最后一层的隐向量$h_{\theta }({\mathbf{x}}_{1:t-1})$作为${\mathbf{x}}_{1:t-1}$的语义表示向量，将语义向量与词向量矩阵（与输入共享）相乘、指数化，所得向量中的各元素即为上述右式的分子项。

相比较，BERT是去噪自编码模型，BERT将序列$\mathbf{x}$中tokens以一定概率（[mask]+随机+不变=15%）进行掩盖，通过最大化掩盖token的概率进行预训练（损坏数据重建）：
$$\underset{\theta }{\max }\log p_{\theta }(\overline{\mathbf{x}}|\hat{\mathbf{x}})\approx \sum _{t=1}^T{m}_t\log p_{\theta }(x_t|\hat{\mathbf{x}})=\sum _{t=1}^T{m}_t\log \frac{\exp (H_{\theta }(\hat{\mathbf{x}}{)}_t^{\top }e(x_t))}{{\sum }_{x^{\prime }}\exp (H_{\theta }(\hat{\mathbf{x}}{)}_t^{\top }e(x^{\prime }))}\text{\hspace{1em}(2)}$$
式中，$\overline{\mathbf{x}}$表示$\mathbf{x}$中所有掩盖tokens，$m_t=1$表示$x_t$被掩盖，$H_{\theta }(\hat{x}{)}_t$表示$x_t$的语义隐向量。

两种预训练模型的特点：

• 独立假设： BERT基于所有掩盖token相互独立的假设分解联合概率分布$p_{\theta }(\overline{\mathbf{x}}|\hat{\mathbf{x}})$，而AR语言模型使用普适性的因子链式乘积分解联合概率分布$p_{\theta }(\mathbf{x})$；
• 输入噪声： BERT原始tokens以一定概率进行mask，如替换为[mask]，微调下游任务中不含此类token，造成预训练和微调不匹配，实际BERT进行掩盖时会以一定概率保留原始token，但比例太少，不能解决不匹配的问题；
• 上下文依赖： AR模型所得语义向量$h_{\theta }({\mathbf{x}}_{1:t-1})$仅通过单向建模得到，而BERT语义向量$H_{\theta }(\mathbf{x}{)}_t$是通过双向建模得到，所得语义向量表示更丰富；

目标：排列语言模型

以${\mathcal{Z}}_T$表示序列$\mathbf{x}=(x_1,\cdots ,x_T)$所有可能的$T!$种因子排列，以$z_t$和${\mathbf{z}}_{<t}$分别表示排列$\mathbf{z}\in {\mathcal{Z}}_T$的第$t$个元素和前$t-1$个元素，排列语言模型可表示为
$$\underset{\theta }{\max }{\mathbb{E}}_{\mathbf{z}\sim {\mathcal{Z}}_T}\left[\sum _{t=1}^T\log p_{\theta }(x_{z_t}|{\mathbf{x}}_{{\mathbf{z}}_{<t}})\right]\text{\hspace{1em}(3)}$$

例如$\mathbf{x}=(x_1,x_2,x_3)$，则$p(\mathbf{x})$共有6种因式分解顺序：
$$\begin{gathered} p(x\text{x}x)=p(x_1)p(x_2|x_1)p(x_3|x_1,x_2)⟹1\to 2\to 3 \\ p(x\text{x}x)=p(x_1)p(x_3|x_1)p(x_2|x_1,x_3)⟹1\to 3\to 2 \\ p(x\text{x}x)=p(x_2)p(x_1|x_2)p(x_3|x_1,x_2)⟹2\to 1\to 3 \\ p(x\text{x}x)=p(x_2)p(x_3|x_2)p(x_1|x_2,x_3)⟹2\to 3\to 1 \\ p(x\text{x}x)=p(x_3)p(x_1|x_3)p(x_2|x_1,x_3)⟹3\to 1\to 2 \\ p(x\text{x}x)=p(x_3)p(x_2|x_3)p(x_1|x_1,x_3)⟹3\to 2\to 1 \end{gathered}$$
重要的一点是，通过采样序列$\mathbf{x}$的因子分解位置的顺序，分解似然概率$p_{\theta }(\mathbf{x})$，采样序列第$t$个元素可能对应原序列任意位置，因此模型可以捕获双向上下文信息，而且目标函数使用AR架构，没有独立假设，预训练和微调一致。

排列说明
为保持模型输入总是自然序列，适配下游任务，排列操作不在原始输入上进行，而在因子位置上进行，不同因式分解排列的模型输入均是自然序列输入，结合 相对位置编码、注意力掩码，间接排列输入序列。图4为同一序列的不同排列对同一位置token的预测：

结构：基于目标感知的双流注意力

使用标准Transformers预测下一个token的条件概率为$p_{\theta }(X_{z_t}|{\mathbf{x}}_{{\mathbf{z}}_{<t}})$，对于不同的$z_t$，模型对于相同上下文序列${\mathbf{x}}_{{\mathbf{z}}_{<t}}$总是输出相同的语义向量，即使用相同语义向量预测不同位置token，显然以此方式训练模型，无法学习有用的表示。

对于同一输入序列$\mathbf{x}\in {\mathbb{R}}^5$，有两个不同的因子分解顺序序列(3,1,2,4,5）和(3,1,2,5,4)，在预测第4个token时，两个顺序序列对应的语义向量均为${\mathbf{x}}_{1-3}$对应的语义向量，而预测token分别为$x_4$和$x_5$，显然不合理。

为避免使用相同语义向量预测不同位置token，本文 重参数化下一个token概率分布以感知目标位置：
$$p_{\theta }(X_{z_t}=x|{\mathbf{x}}_{{\mathbf{z}}_{<t}})=\frac{\exp (e(x{)}^{\top }{g}_{\theta }({\mathbf{x}}_{{\mathbf{z}}_{<t}},z_t))}{{\sum }_{x^{\prime }}\exp (e(x^{\prime }{)}^{\top }{g}_{\theta }({\mathbf{x}}_{{\mathbf{z}}_{<t}},z_t))}\text{\hspace{1em}(4)}$$
式中，$g_{\theta }({\mathbf{x}}_{{\mathbf{z}}_{<t}},z_t)$表示考虑目标位置$z_t$作为输入得到的${\mathbf{x}}_{\mathbf{z}<t}$的上下文信息表示。

通俗理解双流注意力的作用
考虑序列采样因子序列“语言4，喜欢2，处理5，我1，自然3”的预测，如对于预测单词“处理5”，即在给定$g_{\theta }({\mathbf{x}}_{\mathbf{z}<3},z_3)$：上下文“语言”、“喜欢”和位置“4”、“2”和“5”，预测位置“5”为单词“处理”的概率，如下图所示。

对于位置$z_i$，预测自身token时，仅需提供位置信息、不需提供内容信息，而预测$z_j$，$j>i$时，需提供位置和内容信息，因此需要Transformer为每个位置提供两个向量表示，一个用于预测自身token的位置表示，另一个用于预测其它位置token的内容表示！

双流自注意力

目标感知的表示法解决了目标位置歧义性问题，但如何表达$g_{\theta }({\mathbf{x}}_{{\mathbf{z}}_{<t}},z_t)$仍是一个难题！本文提出的思想是：站在目标位置$z_t$，通过注意力收集$z_t$处的上下文${\mathbf{x}}_{{\mathbf{z}}_{<t}}$信息 ，这比传统Transformers多两种需求：

• 如果预测目标是$x_{z_t}$，则$g_{\theta }({\mathbf{x}}_{{\mathbf{z}}_{<t}},z_t)$应包含位置信息$z_t$，不能包含内容信息$x_{z_t}$；
• 如果预测目标是$x_{z_j}$，且$j>t$，$g_{\theta }({\mathbf{x}}_{{\mathbf{z}}_{<t}},z_t)$应包含内容信息$x_{z_t}$ ，以提供充足的上下文信息；

为此，我们使用两组隐状态表达，代替一组隐状态：

• 内容表示：$h_{\theta }({\mathbf{x}}_{{\mathbf{z}}_{\le t}})$，$h_{z_t}$，与标准Transformer的隐状态相同，包含$x_{z_t}$的上下文及其自身内容信息；
• 查询表示：$g_{\theta }({\mathbf{x}}_{{\mathbf{z}}_{<t}},z_t)$，$g_{z_t}$，包含$x_{z_t}$的上下文内容信息和位置信息$z_t$，不包含内容信息$x_{z_t}$；

在计算上，查询流第一层每个位置使用相同的参数向量$w$，内容流第一层每个位置使用对应的词向量，查询流和内容流共享参数，第$m$层查询和内容的更新公式为
$$\begin{gathered} g_{z_t}^m=\text{Attention}(Q=g_{z_t}^{(m-1,)},KV=h_{{\mathbf{z}}_{<t}}^{(m-1)};\theta ) \\ {h}_{z_t}^m=\text{Attention}(Q=h_{z_t}^{(m-1,)},KV=h_{{\mathbf{z}}_{\le t}}^{(m-1)};\theta ) \end{gathered}$$

查询流使用位置信息$z_t$、不使用内容信息$x_{z_t}$，内容流使用位置信息$z_t$和内容信息$x_{z_t}$。微调阶段，不需要使用查询流，仅使用内容流，此时XLNet与标准Transformer-XL基本一致。最终，将使用最后一层的查询表示带入结合得到$z_t$对应token的概率。

部分预测
排列语言模型收敛慢，难以优化。为降低优化难度，我们仅预测因子顺序序列$\mathbf{z}$的后几个token，将$\mathbf{z}$在位置$c$处分成前后两个子序列${\mathbf{z}}_{\le c}$和${\mathbf{z}}_{>c}$，通过最大化给定${\mathbf{z}}_{\le c}$下${\mathbf{z}}_{>c}$的对数似然：
$$\underset{\theta }{\max }{\mathbb{E}}_{\mathbf{z}\sim {\mathcal{Z}}_T}[\log p_{\theta }({\mathbf{x}}_{\mathbf{z}>c}|{\mathbf{x}}_{\mathbf{z}\le c})]={\mathbb{E}}_{\mathbf{z}\sim {\mathcal{Z}}_T}\left[\sum _{t=c+1}^{|\mathbf{z}|}\log p_{\theta }(x_{z_t}|{\mathbf{x}}_{\mathbf{z}<t})\right]\text{\hspace{1em}(5)}$$

融合Transformer-XL

XLNet使用先进的AR语言模型Transformer-XL，使用其中两种重要的技术：相对位置编码和循环分段机制。

• 相对位置编码： 对原始序列各位置使用不同的相对位置编码，达到对原始序列排列的效果；
• 循环分段机制： 缓存之前分段各层输出隐状态$\tilde{\mathbf{h}}$，在连续的下个分段中作为扩展上下文长度使用，使得模型可以学习长期依赖，如第$m$层位置$z_t$的隐状态为
  $$h_{z_t}^{(m)}\leftarrow \text{Attention}(Q=h_{z_t}^{(m-1)},KV=\left[{\tilde{\mathbf{h}}}^{(m-1)},{\mathbf{h}}_{{\mathbf{z}}_{\le t}}^{(m-1)}\right];\theta )$$

多句建模

许多下游任务可能会有多句同时输入，为适配这些下游任务，从相同和不同上下文中分别随机采样两个分句$A$和$B$，将其拼接作为模型输入，XLNet输入结构与BERT一致：【CLS，A，SEP，B，SEP】，仅使用相同上下文的缓存。

相对分段编码
BERT对每一个词向量加入绝对句向量，以区分输入中两个句子是否属于同一上下文，由于 绝对句向量仅表示当前输入的两个句子的上下文关系，而XLNet使用缓存不能在词向量添加绝对句向量。如前一分段的两句$A_1,B_1$属于同一上下文，而当前分段的两句$A_2,B_2$不属于同一上下文，但$B_1$和$A_2$属于同一上下文，可见对词向量中添加绝对句向量无法区分不同分段间句子的上下文关系。

本文使用相对分段编码，区分扩展输入序列不同位置token的上下文关系，给定扩展输入序列的两个位置$i$和$j$来自于相同上下文，则${\mathbf{s}}_{ij}={\mathbf{s}}_{+}$，否则${\mathbf{s}}_{ij}={\mathbf{s}}_{\_}$，${\mathbf{s}}_{+}$和${\mathbf{s}}_{\_}$是两个在每个注意力头可以学习的向量。计算分句注意力：
$$a_{ij}=({\mathbf{q}}_i+\mathbf{b}{)}^{\top }{\mathbf{s}}_{ij}$$
式中，$q_i$为查询向量，$\mathbf{b}$偏置参数向量，最终将$a_{ij}$累计到标准注意力。

讨论

为更好理解BERT和XLNet区别，考虑输入序列[New, York, is, a, city]，假设两个模型均以两个单词[New, York]作为预测目标，即最大化概率$\log p(\text{New York }|\text{ is a city})$，同时假设XLNet的因式分解顺序为[is, a, city, New, York]，则两者的损失函数为
$$\begin{gathered} {\mathcal{J}}_{\text{BERT}}=\log p(\text{New }|\text{ is a city})+\log p(\text{York }|\text{ is a city}) \\ {\mathcal{J}}_{\text{XLNet}}=\log p(\text{New }|\text{ is a city})+\log p(\text{York }|\text{ New, is a city}) \end{gathered}$$

XLNet能够捕获待预测tokens以及给定tokens间的依赖关系，而BERT无法捕获待预测tokens间的依赖关系。