Normalization 归一化方法 BN LN IN GN
1.分类BN是在batch上,对N、H、W做归一化,而保留通道 C 的维度。BN对较小的batch size效果不好。BN适用于固定深度的前向神经网络,如CNN,不适用于RNN;LN在通道方向上,对C、H、W归一化,主要对RNN效果明显;IN在图像像素上,对H、W做归一化,用在风格化迁移;GN将channel分组,然后再做归一化。2.BN为什么要进行BN呢?1)在深度神经网络训练的过程中,通常以输入网络的每一个mini-batch进行训练,这样每个batch具有不同的分布,使模型训练起来
原创
2020-09-29 09:29:06 ·
1062 阅读 ·
0 评论