一、为什么要Normalization?
二、常见的Normalization方法(BN、LN、IN、GN)
这节课我们来学习常见的Normalization方法(BN、LN、IN、GN)。
一、为什么要Normalization?
其实这个问题在BN的论文中已经给了答案了,就是因为在深度学习中,出现一个ICS的问题。数据尺度/分布的异常,导致模型训练困难。
二、常见的Normalization方法(BN、LN、IN、GN)
这四种Normalization,相同的地方是,都要进行归一化,即加减乘除操作。那他们的不同点在哪里?因为beta和gamma都是超参数,所以不同的地方在于均值和方差的求取方式。
LN : 是在网络层里面找均值和方差。
IN:实例,就是一张图片。主要针对图像生成使用。
GN:分组。
1. Layer Normalization
BN不适用于