【深度学习】批规范化 (Batch Normalization，BN)

Introduction

批规范化，batch normalization，即著名的 BN 操作。
顾名思义，是 对batch的操作 。

$y=\gamma \cdot \frac{x-\mu }{\sqrt{{\delta }^2+ϵ}}+\beta =\{\begin{array}{rlrlr}& \gamma & ,& gamma:& scale\\ & \mu & ,& mu:& mean\\ & \delta & ,& delta:& var\\ & \beta & ,& beta:& offset\end{array}$

Birth

15年2月的论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift。

Motivation

为了防止隐层的输入分布老是变来变去，BN让每个隐层节点的 激活输入分布 缩小到 (-1, 1) 。

Note：

• 是缩小到 (-1, 1)，而非缩小到 (0, 1)。

计算流程

1. 计算 均值 和 方差；
2. 做 规范化；
3. 乘上缩放矩阵，加上平移向量 。

输入为 i n ： B = { x 1 , . . . , x N } in：B = \{x_1, ..., x_N\} in：B={x1​,...,xN​} ，输出为 o u t ： y ′ = { B N γ , β ( x 1 ) , . . . } out：y^{\prime} = \{BN_{\gamma,\beta}(x_1), ... \} out：y′={BNγ,β​(x1​),...} 。

1. $\mu \leftarrow \frac{1}{N}{\sum }_{i=1}^N{x}_i，计算batch的均值$
2. ${\delta }^2\leftarrow \frac{1}{N}{\sum }_{i=1}^N(x_i-\mu {)}^2，计算batch的方差$
3. ${\hat{x}}_i\leftarrow \frac{x_i-\mu }{\sqrt{{\delta }^2+ϵ}}，规范化$
4. $y_i\leftarrow \gamma \cdot {\hat{x}}_i+\beta ，缩放和平移$
5. $return学到的\gamma 和\beta$

作用

• 前向时约束输入空间：
  • 1.突出重点区域的响应，提高泛化性。
  • 2.好调参。
• 反向时防止梯度问题：
  • 1.（把小的放大，把大的放小）快速收敛。

python实现

• Batch Normalization原理与python实现
• Batch Normalization学习笔记及其实现

Summary

• “ conv -> bn -> relu ” 套件目前早已成为了CNN标配module。
• BN因为在前馈的时候缩小了输入空间，而前馈时的输入空间又直接影响了反馈计算时的梯度状况。所以说，BN其实帮助减缓了梯度问题。
• 假设输入是shape为 [N, H, W, C] 的tensor，则bn是沿着C维，对各channel的 [N, H, W] 分别求出一个mean和variance。所以最终输出的mean和variance的shape都是 [C, ] 。

---

[1] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
[2] Understanding Batch Normalization
[3] Batch Normalization导读
[4] 深度学习中 Batch Normalization为什么效果好？
[5] 深度学习: gradient diffusion (梯度弥散)