Sampled softmax模型：On Using Very Large Target Vocabulary for Neural Machine Translation

参考链接

• 论文链接：https://arxiv.org/abs/1412.2007
• 参考连接：https://blog.csdn.net/wangpeng138375/article/details/75151064

一、神经机器翻译

• 神经机器翻译一般使用$encoder–decoder$神经网络实现
• $decoder$将输出原句子:$x=(x_1,\dots ,x_T)$编码为隐藏层状态序列：$h=(h_1,\dots ,h_T)$;可以使用公式表达为：$$h_t=f(x_t,h_{t-1})$$
• 然后$decoder$根据隐藏层状态序列生成h,生成翻译句子$y=(y_1,\dots ,y_T)$: p ( y t │ y < t ; , x ) ∝ e x p { q ( y t − 1 , z t , c t ) } z t = g ( y t − 1 , z t − 1 , c t ) c t = r ( z t − 1 , h 1 , … , h T ) p(y_t │y_{<t};,x) ∝exp \{q(y_{t-1},z_t,c_t )\}\\z_t=g (y_{t-1},z_{t-1},c_t)\\c_t=r(z_{t-1},h_1,…,h_T) p(yt​│y<t​;,x)∝exp{q(yt−1​,zt​,ct​)}zt​=g(yt−1​,zt−1​,ct​)ct​=r(zt−1​,h1​,…,hT​)
• 模型通过最大化对数条件概率进行训练：$${\theta }^{\ast }=argma{x}_{\theta }\sum _{n=1}^N\sum _{t=1}^{T_n}logp(y_t^n|y_{<t}^n,x^n)$$$N$是训练样本个数，$T_n$是第$n$个样本目标句子$y^n$的长度。
• 论文中的神经机器翻译:
  • 使用了attention机制 ,RNN使用GRU单元
  • $encoder$使用$Bi-RNN$，因此隐藏层状态向量为：$h_t=[\overleftarrow{h_t},\overrightarrow{h_t}]$其中：$\overleftarrow{h_t}=f(x_t,\overleftarrow{h_{t-1}});\overrightarrow{h_t}=f(x_t,\overrightarrow{h_{t-1}})$
  • $c_t$是$decoder$的上下文向量：它是$encoder$输出的隐藏层状态序列$(h_1,\dots ,h_T)$的加权和,权值为$({\alpha }_1,\dots ,{\alpha }_T)$(这是一个attention机制) α i = e x p { a ( h t , z t − 1 ) } ∑ k e x p ⁡ { a ( h k , z t − 1 ) } α_i=\frac{exp\{a(h_t,z_{t-1})\}}{∑_kexp⁡\{a(h_k,z_{t-1})\}} αi​=∑k​exp⁡{a(hk​,zt−1​)}exp{a(ht​,zt−1​)}​$a$是一个单层隐藏层的前馈神经网络（有点像softmax层）
  • $z_t$是decoder的RNN中的隐藏层状态向量：$$z_t=g(y_{t-1},z_{t-1},c_t)$$
  • 下一个目标词的概率计算公式： p ( y t │ y < t , x ) = 1 Z e x p { w t T ∅ ( y t − 1 , z t , c t ) + b t } p(y_t │y_{<t},x)=\frac{1}{Z} exp\{w_t^T∅ (y_{t-1},z_t,c_t )+ b_t \} p(yt​│y<t​,x)=Z1​exp{wtT​∅(yt−1​,zt​,ct​)+bt​}$\varnothing$是一个非线性映射(含激活函数)，所以上式就是先进行非线性变换再进行线性变换。$Z$是一个归一化化常量： Z = ∑ k , y k ∈ V e x p ⁡ { w k T ∅ ( y t − 1 , z t , c t ) + b k } Z=∑_{k,y_k∈V}exp⁡\{w_k^T∅ (y_{t-1},z_t,c_t )+ b_k \} Z=k,yk​∈V∑​exp⁡{wkT​∅(yt−1​,zt​,ct​)+bk​}$V$是词汇表

二、神经机器翻译的词汇量限制问题和解决方法

• 再神经机器翻译中一个主要的困难就是：计算目标词的概率$p(y_t│y_{<t};x)$的计算量比较大，即下面公式的计算量比较大： p ( y t │ y < t ; x ) = 1 Z e x p ⁡ { w t T ∅ ( y t − 1 , z t , c t ) + b t } p(y_t │y_{<t};x)=\frac{1}{Z} exp⁡\{w_t^T∅(y_{t-1},z_t,c_t )+ b_t \} p(yt​│y<t​;x)=Z1​exp⁡{wtT​∅(yt−1​,zt​,ct​)+bt​}
• 具体的说，为了计算归一化量$Z$,我们需要遍历整个词汇表每个词；这个计算量与词汇表的大小成正比。需要的存储空间也随着目标单词的数量线性增长。
• 有两个特殊的模型方法(model-specific approaches) 用来解决这个问题：
  • 方法一：随机估计目标单词的概率。
  • 方法二：将词汇表分词多个类(classes),目标词的条件概率$p(y_t│y_{<t},x)$,被分解为类概率$p(c_t│y_{<t};,x)$和类内词概率$p(y_t│c_t,y_{<t},x)$. 这将为了计算目标词条件概率所需进行点乘的数量减少为类数量和类中单词的总和。但这种方式主要用于训练阶段的加速，对测试阶段一般不使用。
• 除了这些特殊的模型方法外，还存在**特定的翻译方法(translation-specific approaches)**来解决这个问题：利用稀有词的属性，例如：使用单词对齐模型(the word alignment model)将源句子和目标句子中的稀有单词替换为相应的$<OO{V}_n>$标记。
• 特殊的翻译方法和特殊的模型方法经常互补的使用来减少计算量和改善模型性能。

三、论文中提出的方法：Sampling softmax （核心）

• 这个部分是论文的核心 ，到这个位置我们只讨论如何减少计算下面公式的复杂度： p ( y t │ y < t , x ) = 1 Z e x p { w t T ∅ ( y t − 1 , z t , c t ) + b t } p(y_t │y_{<t},x)=\frac{1}{Z} exp\{w_t^T∅ (y_{t-1},z_t,c_t )+ b_t \} p(yt​│y<t​,x)=Z1​exp{wtT​∅(yt−1​,zt​,ct​)+bt​}减少该公式的时间复杂度重点是减少归一化项$Z$的复杂度： Z = ∑ k , y k ∈ V e x p ⁡ { w k T ∅ ( y t − 1 , z t , c t ) + b k } Z=∑_{k,y_k∈V}exp⁡\{w_k^T∅ (y_{t-1},z_t,c_t )+ b_k \} Z=k,yk​∈V∑​exp⁡{wkT​∅(yt−1​,zt​,ct​)+bk​}

• 论文提出的方法属于model-specific approach，该方法使得我们训练模型的时间复杂度与词汇表的长度无关

• 神经机器翻译的训练的过程就是不断最大化正确目标词的概率或对数概率，这里我们选择对数概率： p ( y t │ y < t , x ) = e x p { w t T ∅ ( y t − 1 , z t , c t ) + b t } ∑ k , y k ∈ V e x p ⁡ { w k T ∅ ( y t − 1 , z t , c t ) + b k } p(y_t │y_{<t},x)=\frac{exp\{w_t^T∅ (y_{t-1},z_t,c_t )+ b_t \}}{∑_{k,y_k∈V}exp⁡\{w_k^T∅ (y_{t-1},z_t,c_t )+ b_k \} } p(yt​│y<t​,x)=∑k,yk​∈V​exp⁡{wkT​∅(yt−1​,zt​,ct​)+bk​}exp{wtT​∅(yt−1​,zt​,ct​)+bt​}​令：$\epsilon (y_j)=w_j^T\varnothing (y_{t-1},z_t,c_t)+b_j$,表示词汇表的第$i$个词得到的非规范化概率分数,则：$$p(y_t│y_{<t},x)=\frac{exp(\epsilon (y_j))}{{\sum }_{k,y_k\in V}exp(\epsilon (y_k))}$$对数概率为： l o g p ( y t │ y < t , x ) = ε ( y j ) − l o g ⁡ ( ∑ k , y k ∈ V e x p ⁡ { ε ( y k ) } ) logp(y_t│y_{<t},x)=ε(y_j )-log⁡(∑_{k,y_k∈V}exp⁡\{ε(y_k )\} ) logp(yt​│y<t​,x)=ε(yj​)−log⁡(k,yk​∈V∑​exp⁡{ε(yk​)})

• 神经网络的优化是使用梯度下降法，那么我们就来计算一下对数概率的梯度：$$\begin{gathered} \nabla logp(y_t│y_{<t},x)=\nabla \epsilon (y_t)-\frac{1}{{\sum }_{k,y_k\in V}exp(\epsilon (y_k)))}\sum _{k,y_k\in V}exp(\epsilon (y_k))\nabla \epsilon (y_k) \\ =\nabla \epsilon (y_t)-\sum _{k,y_k\in V}p(y_k│y_{<t},x)\nabla \epsilon (y_k) \end{gathered}$$上式的第二项可以写成期望形式：$$\sum _{k,y_k\in V}p(y_k│y_{<t},x)\nabla \epsilon (y_k)\sum _{k,y_k\in V}P(y_k)\nabla \epsilon (y_k)=E_P[\nabla \epsilon (y)]$$其中：$P$为$p(y|y_{<t},x)$

• 最终上式可以写作：$$\nabla logp(y_t│y_{<t},x)=\nabla \epsilon (y_t)-E_P[\nabla \epsilon (y)]$$计算量主要落在$E_P[\nabla \epsilon (y)]$上,所以我们主要优化这个地方。

• 通过重要性采样(mportance sampling) 来近视计算这个期望$E_P[\nabla \epsilon (y)]$：

  • 首先我们预先给定一个概率分布$Q$
  • 然后根据$Q$对词汇表V进行采样得到词汇表V的一个子集$V^{\prime }$
  • 然后用下面公式来近似计算$E_P[\nabla \epsilon (y)]：$ $$E_P[\nabla \epsilon (y)]\approx \sum _{k,y_k\in V^{\prime }}\frac{{\theta }_k}{{\sum }_{k^{\prime }:y_k^{\prime }\in V^{\prime }}{\theta }_{k^{\prime }}}\nabla \epsilon (y_k)$$其中： θ k = e x p ⁡ { ε ( y k ) − l o g Q ( y k ) } θ_k=exp⁡\{ε(y_k )-logQ(y_k)\} θk​=exp⁡{ε(yk​)−logQ(yk​)}

• 重要性采样可以参考连接：蒙特卡洛积分和重要性采样

• 论文中上面$E_P[\nabla \epsilon (y)]$近似公式是用了两次重要性采样才得到的论文中没有进行推导，这里我们简单推导一下：

  • 首先我们预先给定一个概率分布$Q$

  • 然后根据$Q$对词汇表V进行采样得到词汇表V的一个子集$V^{\prime }$

  • 然后根据重要性采样公式我们得到：$$E_P[\nabla \epsilon (y)]\approx \frac{1}{N}\sum _{k,y_k\in V^{\prime }}\frac{P(y_k)}{Q(y_k)}\nabla \epsilon (y_k)$$其中$$P(y_k)=p(y_k│y_{<t},x)=\frac{exp(\epsilon (y_k)}{{\sum }_{k,y_k\in V}exp(\epsilon (y_k))}$$

  • 然而我们发现依然需要计算$P(y_k)$依然需要计算归一化常量$Z$，所以计算量没有下降。那么我们来分析一些分母这个 归一化因子：$$Z=\sum _{k,y_k\in V}exp(\epsilon (y_k))$$将其进行配方变形：$$Z=M\sum _{k,y_k\in V}\frac{1}{M}exp(\epsilon (y_k))$$$M$为词汇表的长度，这样可以将$\frac{1}{M}$视为概率分布,这样$Z$可以写为：$$Z=M{E}_I[exp(\epsilon (y_k))]$$其中$I=\frac{1}{M}$

  • 对这个数学期望我们同样可以用$Q$分布重要性采样来估计该期望：$$E_I[exp(\epsilon (y_k))]\approx \frac{1}{N}\sum _{k,y_k\in V^{\prime }}\frac{1}{MQ(y_k)}exp(\epsilon (y_k))$$则归一化因子$Z$的估计量为：$$\begin{gathered} Z=M{E}_I[exp(\epsilon (y_k))]\approx \frac{M}{N}\sum _{k,y_k\in V^{\prime }}\frac{1}{MQ(y_k)}exp(\epsilon (y_k)) \\ =\frac{1}{N}\sum _{k,y_k\in V^{\prime }}\frac{1}{Q(y_k)}exp(\epsilon (y_k)) \end{gathered}$$

• 将上面的推到合并，可以得到$E_P[\nabla \epsilon (y)]$的估值：$$\begin{gathered} E_P[\nabla \epsilon (y)]\approx \frac{1}{N}\sum _{k,y_k\in V^{\prime }}\frac{exp(\epsilon (y_k)}{{\sum }_{k,y_k\in V}exp(\epsilon (y_k))}\frac{1}{Q(y_k)}\nabla \epsilon (y_k) \\ \approx \frac{1}{N}\sum _{k,y_k\in V^{\prime }}\frac{exp(\epsilon (y_k)}{\frac{1}{N}{\sum }_{i,y_i\in V^{\prime }}\frac{1}{Q(y_i)}exp(\epsilon (y_i))}\frac{1}{Q(y_k)}\nabla \epsilon (y_k) \\ =\sum _{k,y_k\in V^{\prime }}\frac{exp(\epsilon (y_k)}{{\sum }_{i,y_i\in V^{\prime }}\frac{1}{exp(log(Q(y_i)))}exp(\epsilon (y_i))}\frac{1}{exp(log(Q(y_k)))}\nabla \epsilon (y_k) \\ =\sum _{k,y_k\in V^{\prime }}\frac{exp(\epsilon (y_k)-log(Q(y_k)))}{{\sum }_{i,y_i\in V^{\prime }}exp(\epsilon (y_i)-log(Q(y_i)))}\nabla \epsilon (y_k) \end{gathered}$$令$${\theta }_k=exp(\epsilon (y_k)-log(Q(y_k)))$$则：$$E_P[\nabla \epsilon (y)]\approx \sum _{k,y_k\in V^{\prime }}\frac{{\theta }_k}{{\sum }_{i,y_i\in V^{\prime }}{\theta }_i)}\nabla \epsilon (y_k)$$

• 到此我们估计$E_P[\nabla \epsilon (y)]$只依赖采样集合$V^{\prime }$,这样个减少计算的时间复杂度了。

• 现在我们分析一下Sampling softmax的一些特性

  • 使用这种近似方法：训练的每一步只需要更新正确目标词的$w_j$向量，和$V^{\prime }$中词对应的$w_i$向量。
  • 这种方法虽然减少了训练的时间复杂度但并没有减少空间复杂度，因为单纯的使用此方法我们始终要将softmax层的权值矩阵$W\in R^{|V|\times d}$($|V|$是词汇表的大小)。这样对于内存有限的GPU上这个内存问题就会比较突出。
  • 为了解决内存不足问题，我们将训练语料库$C$分词几个部分，并未每个部分建立词汇表$V^{\prime }$:
    • 我们依次扫描语料库的每个目标句子，将目标词依次加入词汇表，当然词汇表没有重复的词，直到词汇表的大小达到上限$T$，则停止扫描，形成一个语料库的子集$C_i$和其对应的词汇表$V_i^{\prime }$
    • 重复上面的过程，直到扫描完整个语料库，这样语料库被分成几个部分并形成个部分的词汇表。
  • 这个过程相当与我们为每个语料库的子集$C_i$，设置了一个采样分布$Q_i$,并且满足下面公式：$$Q_i(y_k)=\{\begin{array}{ll}\frac{1}{|V_i^{\prime }|},& y_t\in V_i^{\prime }\\ 0,& \text{其他}\end{array}$$这相当于将概率等价的分给词汇表子集$V_i^{\prime }$中的每个单词，而对$V_i^{\prime }$以外的单词分布0概率。

• 整个过程可以简单的概述为（个人的理解）：

  • 第一步：我们定义softmax层的参数矩阵$W\in R^{(}|V|\times d)$($|V|$是词汇表的大小)，每个行代表一个词，与embedding向量有点像。
  • 第二步：我们依次扫描语料库的每个目标句子，将目标词依次加入词汇表$V_i^{\prime }$中，当然词汇表没有重复的词，直到词汇表的大小达到上限$T$，则停止扫描，形成一个语料库的子集$C_i$和其对应的词汇表$V_i^{\prime }$
  • 第三步：我们将$V_i^{\prime }$中词汇在矩阵$W\in R^{(}|V|\times d)$中对应的向量提取出来，形成新矩阵$W_i^{\prime }\in R^{(}|V_i^{\prime }|\times d)$, $W_i^{\prime }$与$W$是共享的，可以理解$W_i^{\prime }$是$W$的一个视图。
  • 第四步：然后我们使用：$C_i$，$V_i^{\prime }$，$W_i^{\prime }$进行训练。这时候的训练使用的full softmax层： p ( y t │ y < t , x ) = e x p { w t T ∅ ( y t − 1 , z t , c t ) + b t } ∑ k , y k ∈ V i ′ e x p ⁡ { w k T ∅ ( y t − 1 , z t , c t ) + b k } p(y_t │y_{<t},x)=\frac{exp\{w_t^T∅ (y_{t-1},z_t,c_t )+ b_t \}}{∑_{k,y_k∈V_i'}exp⁡\{w_k^T∅ (y_{t-1},z_t,c_t )+ b_k \} } p(yt​│y<t​,x)=∑k,yk​∈Vi′​​exp⁡{wkT​∅(yt−1​,zt​,ct​)+bk​}exp{wtT​∅(yt−1​,zt​,ct​)+bt​}​其中$w_t^T$使用的是$W_i^{\prime }$中的行向量。
  • 第五步：重复上面第二步到第四步，直到语料库被扫描完，则完成一轮训练。

• 机器翻译中softmax层的训练分析

  • 在机器翻译中输出层的softmax层主要的任务是将当前隐藏层状态向量$h_t$转化为词汇表词汇概率。通过将词汇表中第$i$个词对应的权重向量$w_i$与$h_t$进行乘积再经过归一化得到当前输出第$i$个词的概率。
  • 经过训练后我们得到的是softmax的权重矩阵$W\in R^{|V|\times d}$($|V|$是词汇表的长度,$d$是隐藏层状态向量$h_t$的维度)。W每一行对应目标词汇表中的一个单词。
  • 在full softmax中训练的每一步都是：将正确的目标词对应的权重向量$w_i$向$h_t$方向移动，使得KaTeX parse error: Expected group after '_' at position 2: w_̲与$h_t$内积更大，从而使得对应概率更大；并且将词汇表中的其他词对应的权重向量$w_j$向远离$h_t$方向移动使得，得$w_j$与$h_t$内积更小，从而对应的概率更小，间接的使得正确词对应的概率更大。
  • 在论文中提出的sampling softmax中训练的每一步都是：也将正确的目标词对应的权重向量$w_i$向$h_t$方向移动，使得$w_i$与$h_t$内积更大，从而使得对应概率更大；并且将词汇表子集$V$’中的其他词对应的权重向量$w_j$向远离$h_t$方向移动使得，得$w_j$与$h_t$内积更小，从而对应的概率更小，间接的使得正确词对应的概率更大。