本文介绍了深度学习中常见的Normalization方法，包括Batch Normalization (BN)、Layer Normalization (LN)、Instance Normalization (IN)和Group Normalization (GN)。BN解决深度学习中的ICS问题，而LN、IN和GN则各有特点，适应不同的网络结构和应用场景。LN在层内计算均值和方差，IN针对单个输入实例，GN则按组进行归一化。
一、为什么要Normalization?
二、常见的Normalization方法(BN、LN、IN、GN)
这节课我们来学习常见的Normalization方法(BN、LN、IN、GN)。
一、为什么要Normalization?
其实这个问题在BN的论文中已经给了答案了，就是因为在深度学习中，出现一个ICS的问题。数据尺度/分布的异常，导致模型训练困难。
二、常见的Normalization方法(BN、LN、IN、GN)
这四种Normalization，相同的地方是，都要进行归一化，即加减乘除操作。那他们的不同点在哪里？因为beta和gamma都是超参数，所以不同的地方在于均值和方差的求取方式。
LN : 是在网络层里面找均值和方差。
IN：实例，就是一张图片。主要针对图像生成使用。
GN：分组。
1. Layer Normalization
BN不适用于
最低0.47元/天 解锁文章
765
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
