BatchNormalization、LayerNormalization、InstanceNormalization和GroupNormalization四者的比较
神经网络中有各种归一化算法:Batch Normalization (BN)、Layer Normalization (LN)、Instance Normalization (IN)、Group Normalization (GN)
从公式看它们都差不多:无非是减去均值,除以标准差,再施以线性映射:
y=γ(x−μ(x)σ(x))+β
y=\gamma (\frac{x-\mu (x)}{\sigma (x)})+\beta
y=γ(σ(x)x−μ(x))+β
这些归一化算法的主要区别在于操作的 fe
转载
2020-08-02 22:45:19 ·
535 阅读 ·
0 评论