BatchNorm VS InstanceNorm

1.BatchNorm 

Batch_Norm是对一个☝️batch进行规整，是为了防止同一个batch间的梯度相互抵消。其将不同batch规整到同一个均值0和方差1，这就要两个参数来记录batch的均值e,方差c。其是对每一个神经元进行的，由于将均值方差规整到同一个数字，限制了特征的分布特性，因此会降低网络的表达能力，所以还要引入a1和a2来改变每一个特征维度的概率分布，从而增加网络的表达能力。训练时，网络会记录每一个batch滑动平均的均值和方差，训练结束的时候这四个参数就固定了测试时直接加载使用。

2.InstanceNorm

InstanceNorm是将输入在深度方向上减去均值除以标准差（但这个源码用的是成标准差，就这样吧谁让它效果好了），这其实也可以加快网络的训练速度。为了增加非线性拟合能力，再乘由于scale加offset。cyclegan的训练batch_size为1，所以是不可以用batch_norm。它就是简单的标准化，并没有什么需要训练的参数。

总结：Batch_Norm是在一个Batch内不同样本间的标准化，而instance_norm在一个样本内的标准化。