batch-normalization_网络中任意的activation set-CSDN博客

1.what is BN

2. How to Batch Normalize?[]

3. Where to use BN?

4. Why BN?

5. When to use BN?

1.what is BN

batch normalization嘛，就是“批规范化”
在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1. 而最后的“scale and shift”操作则是为了让因训练所需而“刻意”加入的BN能够有可能还原最初的输入（即当 $\gamma^{(k)}=\sqrt{Var[x^{(k)}]}, \beta^{(k)}=E[x^{(k)}]$ ），从而保证整个network的capacity。
有关capacity的解释：实际上BN可以看作是在原模型上加入的“新操作”，这个新操作很大可能会改变某层原来的输入。当然也可能不改变，不改变的时候就是“还原原来输入”。如此一来，既可以改变同时也可以保持原输入，那么模型的容纳能力（capacity）就提升了。

2. How to Batch Normalize?[]

3. Where to use BN?

BN可以应用于网络中任意的activation set。
在CNN中，BN应作用在非线性映射前，即对做规范化。
对CNN的“权值共享”策略，BN还有其对应的做法

4. Why BN?

BN的提出还是为了克服深度神经网络难以训练的弊病
统计机器学习中的一个经典假设是“源空间（source domain）和目标空间（target domain）的数据分布（distribution）是一致的”。如果不一致，那么就出现了新的机器学习问题，如，transfer learning/domain adaptation等。
而covariate shift就是分布不一致假设之下的一个分支问题，它是指源空间和目标空间的条件概率是一致的，但是其边缘概率不同，即：对所有 $x\in \mathcal{X}$ ,，但是 $P_s(X)\ne P_t(X)$ . 大家细想便会发现，的确，对于神经网络的各层输出，由于它们经过了层内操作作用，其分布显然与各层对应的输入信号分布不同，而且差异会随着网络深度增大而增大，可是它们所能“指示”的样本标记（label）仍然是不变的，这便符合了covariate shift的定义。由于是对层间信号的分析，也即是“internal”的来由。
说到底还是为了防止“梯度弥散”。关于梯度弥散，大家都知道一个简单的栗子： $0.9^{30}\approx 0.04$ 。在BN中，是通过将activation规范为均值和方差一致的手段使得原本会减小的activation的scale变大。可以说是一种更有效的local response normalization方法

5. When to use BN?
OK，说完BN的优势，自然可以知道什么时候用BN比较好。
例如，在神经网络训练时遇到收敛速度很慢，或梯度爆炸等无法训练的状况时可以尝试BN来解决。
另外，在一般使用情况下也可以加入BN来加快训练速度，提高模型精度。

Must Know Tips/Tricks in Deep Neural Networks