深度学习笔记之attention机制、Normalization

一. Attention

在文本情感分析中，我们对I hate this movie进行分析，如果采用RNN或者CNN，模型的学习机制导致无法关注于带有强烈情感的单词“hate”。因此就引入了Attention机制，然模型能够更加关注于重点信息。

self-attention

在Transformer模型中引入的self-attention机制使模型相较于传统模型在性能上有了很大的提升。
而self-attention的大体流程是：

• 词嵌入
• 位置编码
• 引入查询向量$Q$、键向量$K$、值向量$V$
• “打分”（self-attention）

词嵌入
使用词嵌入技术，将输入的文本嵌入到$n$维的向量空间，在Attention is all you need中，$n=512$。

位置编码
为了表示文本中单词之间的位置关系，需要对嵌入后的向量进行位置编码，编码的规则大概是对偶数位置使用正弦编码，对奇数位置使用余弦编码：
$$\{\begin{array}{ll}PE(pos,2i)& =sin(pos/10000^{\frac{2i}{d_{model}}})\\ PE(pos,2i+1)& =cos(pos/10000^{\frac{2i}{d_{model}}})\end{array}$$
其中：$pos$表示词在句子中的位置，$i$是向量中每个值的index，$d_{model}$表示向量的维度$n$。

在得到单词的位置编码后，将位置编码结果与词嵌入结果相加，得到位置编码的词嵌入。如下图所示：

引入查询向量$Q$、键向量$K$、值向量$V$

其中记位置编码后的词嵌入为$E_{input}$，那么有：
$$\begin{array}{r}Q=W_Q{E}_{input}\\ K=W_K{E}_{input}\\ V=W_K{E}_{input}\end{array}$$
其中$W_Q,W_K,W_v$是可学习的参数矩阵。

“打分”

• 将查询向量与键向量做内积，内积后的结果记为$S$，即：$S=Q^{T}K$。
• 将内积结果除以输入维度的根号，即$S=\frac{S}{\sqrt{n}}$
• $s=softmax(S)$
• softmax的结果乘值向量$V$,即$s\ast V$
• 求和

综上所述。self-attention的大体流程图如下：

引入Mult self-attention：

二. Normalization

一般而言，有：

• 对于卷积网络 (CNN)：批量归一化 (BN)更好。
• 对于循环网络（RNN）：层归一化（LN）更好。

BN 使用当前层的所有样本来规范化每个单个值，LN 使用单个样本的所有层来执行标准化。

批标准化(batch normalization)

1. 批标准化的数学计算

批标准化是对所有的样本进行标准化处理，其标准化的过程如下：
$$\begin{array}{rlrl}(1)& \mu =\frac{1}{n}\sum _i{Z}^{(i)}& (2)& {\delta }^2=\frac{1}{n}\sum _i(Z^{(i)}-\mu {)}^2\\ (3)& Z_{norm}^{(i)}=\frac{Z^{(i)}-\mu }{\sqrt{{\delta }^2-ϵ}}& (4)& \hat{Z}=\gamma \ast Z_{norm}^{(i)}+\beta \end{array}$$

• 其中$\mu$为样本的均值，${\delta }^2$为样本的方差。
• (3)对激活向量$Z^{(i)}$进行归一化。
• 𝛾允许调整标准偏差。
• 𝛽允许调整偏差，在右侧或左侧移动曲线。

调整结果如下图所示（让样本服从正态分布）：

2. 批标准化的优点

• 添加 BN 层会导致更快更好的收敛（更好意味着更高的准确性），避免了梯度消失。
• 添加 BN 层允许我们使用更高的学习率（LR）而不影响收敛。更高的学习率有助于优化器避免局部最小值收敛。

3. 为什么标准化有效

• 假设一： BN 的有效性是由于他们所谓的内部协变量偏移(ICS)的减少。
• 假设二：BN在训练期间减轻了层之间的相互依赖性。

假设一：
内部协变量偏移(ICS)：

• 首先，协变量偏移是在分布稳定性预期中描述了模型输入分布的偏移。通过扩展，内部协变量偏移描述了当它发生在深度神经网络的隐藏层中时的这种现象。
• 协变量偏移从模型的角度来看，训练图像在统计上与测试图像差别太大。

批量标准化使模型朝着减少内部协变量偏移迈出了一步，并由此显着加速了深度神经网络的训练。

假设二：
$$grad(a)=grad(b)\ast grad(c)\ast grad(d)\ast grad(e)$$

• 我们首先考虑一个没有 BN 层的网络。从上面的等式中，我们得出结论，如果所有梯度都很大，那么 grad(a) 将非常大。相反，如果所有梯度都很小，则 grad(a) 几乎可以忽略不计。通过查看隐藏单元的输入分布，很容易看出层之间的依赖程度：（a）权重的修改将修改（b）权重的输入分布，最终将修改（ d) 和 (e)。这种相互依赖可能会给训练稳定性带来问题：如果我们想调整特定隐藏单元的输入分布，我们需要考虑整个层序列。
• 添加 BN 层显着降低了训练期间各层之间的相互依赖关系（从分布稳定性的角度来看）。批量标准化就像一个阻止流动的阀门，并允许使用𝛽、𝛾对其进行调节。然后不再需要考虑所有参数来获得关于隐藏单元内部分布的线索。

4. 使用批标准化的注意

• 受制于硬件限制，每个Batch的尺寸比较小，这时候谨慎使用BN；
• 在类似于RNN的动态网络中谨慎使用BN；
• 训练数据集和测试数据集方差较大的时候。

层归一化(layer normalization)

1.层标准化的数学计算

对于单个RNN模块：
$$h^t=W_{aa}{a}^{t-1}+W_{xa}{X}^t$$
我们标准化处理是：
$$\begin{array}{rl}(1)& {\mu }^t=\frac{1}{n}\sum _{i=1}^n{h}_i^T\\ (2)& {\delta }^t=\sqrt{\frac{1}{n}\sum _{i=1}^n(h_i^t-{\mu }^t{)}^2}\\ (3)& a^t=f(\frac{\gamma }{\sqrt{({\delta }^t{)}^2+ϵ}}\odot (h^t-u^t)+\beta )\end{array}$$
其中$n$为一层中隐层节点的数量。

2.层标准化与批标准化

• LN是和BN非常近似的一种归一化方法，不同的是BN取的是不同样本的同一个特征，而LN取的是同一个样本的不同特征。在BN和LN都能使用的场景中，BN的效果一般优于LN，原因是基于不同数据，同一特征得到的归一化特征更不容易损失信息。
• 但是有些场景是不能使用BN的，例如batchsize较小或者在RNN中，这时候可以选择使用LN，LN得到的模型更稳定且起到正则化的作用。RNN能应用到小批量和RNN中是因为LN的归一化统计量的计算是和batchsize没有关系的

权重归一化(weight normalization)

权重归一化是对神经网络的连接权重进行归一化，其归一化的方式为：
$$W_{i,:}=\frac{g_i}{||v_i||}{v}_i$$
其中，

• $W_{i,:}$表示权重$W$的第$i$行；
• $g_i$为新引入的参数，为标量；

参考

• 图解Transformer（完整版）
• 三个层次理解Batch Normalization
• 模型优化之Layer Normalization