cs231n-assignment2-Batch Normalization原理推导

做作业的时候敲BN调了很久，当时就写了博客忘记放上来了。。。

assignment2 完整代码链接：http://download.csdn.net/download/pjia_1008/9892859

Batch Normalization 可以理解为是一种数据预处理技术，使得每层网络的输入都服从（0，1）0均值，1方差分布，如果不进行BN，那么每次输入的数据分布不一致，网络训练精度自然也受影响。

---

1，Batch Normalization算法

针对每个batch, 先要求出这个batch的均值和方差，然后normalize（这里感觉很像非标准正态转化成标准正态的计算方法）

因为我们前面计算均值和方差的时候，用的是batch来算的，所以这个计算的均值和方差对整体训练样本不适用，需要进行放缩到原始样本的比例，所以最后进行了scale and shift（这里有两个hyper parameter是通过训练得到）完整的计算图如下：