BN实验总结

利用每个channel下的max 和min计算均值方差

方差	方差系数	均值	resnet-20/cifar-10的错误率
$(max-min{)}^2$	无	$(max-min)/2$	0.28
$(max-min{)}^2$	$$\frac{1}{\sqrt{2\ast ln(n)}}$$n是该channel下参数个数	$(max-min)/2$	0.24
$(max-min{)}^2$	$$\frac{1}{\sqrt{2\ast ln(n)}}$$	origin_mean	0.18
$max-min$	无	$(max-min)/2$	0.31
$max-min$	$abs(1+\lambda )，\lambda 是可学习参量$	$(max-min)/2$	0.25
$max-min$	$abs(1+\lambda )$	origin_mean	0.19
origin_var	无	origin_mean	0.18

将resnet20中间的一个卷积层的输出记录下来，该卷积层的输出有32个channel。计算输出的方差real_var和均值real_mean，同时按照上面的估算公式，分别估计方差estimateVar,均值estimateMean。

利用weight的统计值来估计均值和方差

$$z=x\ast w=X_1{W}_1+X_2{W}_2+....X_{C_{in}}{W}_{C_{in}}=C_{in}XW$$
$$E(z)=C_{in}\ast \sqrt{\frac{1}{2\pi }}\ast {\mu }_w$$
$$E(z^2)=C_{in}^2\ast \frac{1}{2}\ast {\sigma }_w^2$$
将resnet20中间的一个卷积层的输出记录下来，该卷积层的输出有32个channel。计算输出的方差real_var和均值real_mean，同时按照上面的估算公式，分别估计方差estimateVar,均值estimateMean。
下图是$varDiff=estimateVar/realVar$。

下图是$meanDiff=estimateMean/realMean$。

由上面两图可以看出，对方差的估计是非常靠近真实的方差取值的。而均值的估计则比较差。

均值方差在整个训练过程中的变化

仍然取该层的输出，画出mean和var在整个训练过程中的变化趋势

从上面可以看出，随着训练过程的推进，各个channel的均值向着0靠近。

从上面的图看出，随着训练过程的推进，各个channel的方差逐渐降低。