深度学习笔记-011批标准化（Batch Normalization）

什么是标准化

• 传统机器学习中标准化也叫归一化
• 一般是将数据映射到指定的范围中，用于去除不同维度数据的量纲以及量纲单位，使得模型鲁棒性更好
• 数据标准化可以让机器学习模型看到的不同样本彼此之间更加相似，这有助于模型的学习与对新数据的泛化

常见的数据标准化形式

• 标准化和归一化
• 归一化：将数据变为0-1之间。在pytorch中使用toTensor方法进行归一化操作。
• 标准化：将数据减去其平均值使其中心为0，然后将数据除以其标准差使其标准差为1。

什么是批标准化

• batch normalization 和普通的数据标准化类似，是将分散的数据统一的一种做法，也是优化神经网络的一种方法。
• 优点：批标准化不仅在将数据输入模型之前对数据做标准化，而且在网络的每一次变换后都应该考虑数据标准化。（对神经网络中的每一层都做标准化处理）所以，即使在训练过程中均值和方差随时间发生变化，它也可以适应性地将数据标准化

标准化解决的问题

• 梯度消失与梯度爆炸

所以批标准化是一种训练优化方法

批标准化的好处

• 具有正则化的效果
• 提高模型的泛化能力
• 允许更高的学习速率从而加速收敛
• 批标准化有助于梯度传播，因此允许更深的神经网络。对于有些特别深的网络，只有包含多个BN层才能进行训练

批标准化的实现

• Batch Normalization层通常用在卷积层或者密集链接层之后。
• 例如：
  • nn.BatchNorm1d()–>多用于liner层
  • nn.BatchNorm2d()–>多用于卷积层

批标准化的实现过程

1. 求每一个训练批次数据的均值
2. 求每一个训练批次数据的方差
3. 数据进行标准化
4. 训练参数γ，β
5. 输出y通过γ与β的线性变换得到原来的数值

• 在训练的正向传播过程中，不会改变当前的输出值，只记录下γ与β；
• 在反向传播的过程中，根据求得的γ与β同故宫链式求导方式，求出学习速率以至改变权值。

批标准化使用的位置

model.train()和model.eval()

• 知识模型应该在训练模式还是在推理模式下运行。
  • 训练模式： 将使用当前皮输入的均值和方差对其输入进行标准化。
  • 推理模式： 将使用在训练使其学习的移动统计数据的均值和方差来标准化其输入。

原始论文将在CNN中一般应用于非线性激活函数之前，但是实际上放在激活函数之后效果可能更好。

面试问题：批标准化的好处？

批标准化是将分散的数据统一的一种做法，也是优化神经网络的一种方法。BN能够解决梯度消失与梯度爆炸问题。有如下好处：

• 具有正则化的效果
• 提高模型的泛化能力
• 允许更高的学习速率从而加速收敛
• 批标准化有助于梯度传播，因此允许更深的神经网络。对于有些特别深的网络，只有包含多个BN层才能进行训练