TensorFlow中Batch Normalization的坑

关于batch normalization

Batch normalization 是由Sergey Ioffe在这篇文章中介绍的。它的作用是减少internal covariance shift，这样的话是网络中的每一层的学习相互独立。这样网络的收敛速度会更快，因此初始化的参数会学习结果的影响更小。
在什么地方使用batch Normalization似乎是有争议的。我成功在卷积之后，激活层之前添加，也成功在激活层之后添加。
关于batch normalization的计算
根据下面的图片显示，BN层将会学习两个参数gamma 和beta，最后的输出与X_hat和gamma，beta相关。在计算X_hat时候，需要用到两个参数，average和variance（记住这两个参数，后面在分析TensorFlow的实现时候要用到）

TensorFlow实现

在TensorFlow中对于BN层有两种不同的实现方式。分别为training mode和inference mode。
Training Mode
在该模式下