BN:batchnorm 批量标准化。
解决的问题:输入的数据都具有不同的分布,会给下层网络的训练带来困难。
计算方法:
1.先求出此次批量数据x的均值
2.求出此次批量的方差
3.接下来就是对本次批量的x做归一化:xi-E(x)/(根号下批量方差-极小值(eps))防止分母为0.
4.最后最重要,引入缩放和平移变量γ和β
如果γ和β分别等于此batch的方差和均值,那么yi就还原到了归一化前的x,β
BN:batchnorm 批量标准化。
解决的问题:输入的数据都具有不同的分布,会给下层网络的训练带来困难。
计算方法:
1.先求出此次批量数据x的均值
2.求出此次批量的方差
3.接下来就是对本次批量的x做归一化:xi-E(x)/(根号下批量方差-极小值(eps))防止分母为0.
4.最后最重要,引入缩放和平移变量γ和β
如果γ和β分别等于此batch的方差和均值,那么yi就还原到了归一化前的x,β