Layer Normalization（层规范化）

---

详细内容在这篇论文：Layer Normalization

---

训练深度神经网络需要大量的计算，减少计算时间的一个有效方法是规范化神经元的活动，例如批量规范化BN（batch normalization）技术，然而，批量规范化对小批量大小（batch size）敏感并且无法直接应用到RNN中（recurrent neural networks），为了解决上述问题，层规范化LN（Layer Normalization）被提出，不仅能直接应用到RNN，还能显著减少训练时间。与批量归一化不同，层规范化直接根据隐藏层内神经元的总输入估计归一化统计数据，因此不会在训练案例之间引入任何新的依赖关系。

🍎 背景

A feed-forward neural network is a non-linear mapping from a input pattern $\mathbf{x}$ to an output vector $y$. Consider the $l^{\text{th }}$ hidden layer in a deep feed-forward, neural network, and let $a^l$ be the vector representation of the summed inputs to the neurons in that layer.$a_i^l$是第$l$层第$i$个神经元的线性加权输出。 The summed inputs are computed through a linear projection with the weight matrix $W^l$ and the bottom-up inputs $h^l$ given as follows:
$$a_i^l=w_i^{l^{\top }}{h}^l{h}_i^{l+1}=f\left(a_i^l+b_i^l\right)$$

where $f(\cdot )$ is an element-wise non-linear function（激活函数） and $w_i^l$ is the incoming weights to the $i^{th}$ hidden units and $b_i^l$ is the scalar bias parameter. The parameters in the neural network are learnt using gradient-based optimization algorithms with the gradients being computed by back-propagation.

🍌 Batch Normalization

BN是为了减少协变量偏移提出的，它在训练阶段对隐神经元加权输出进行规范化，例如，对于$l^{th}$层的$i^{th}$个加权输出 a i l a_i^l