深度学习中的组归一化（GroupNorm）

最新推荐文章于 2025-03-05 22:55:09 发布
最新推荐文章于 2025-03-05 22:55:09 发布
阅读量1.9w 收藏 87
点赞数 21
分类专栏： python 深度学习论文笔记和实践
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanlulu/article/details/84190971
版权

批归一化（BN）的缺点

BN 需要用到足够大的批大小（例如，每个工作站采用 32 的批量大小）。一个小批量会导致估算批统计不准确，减小 BN 的批大小会极大地增加模型错误率。加大批大小又会导致内存不够用。

在这里插入图片描述

归一化的分类

在这里插入图片描述
BN，LN，IN，GN从学术化上解释差异：

  • BatchNorm：batch方向做归一化，算N*H*W的均值
  • LayerNorm：channel方向做归一化，算C*H*W的均值
  • InstanceNorm：一个channel内做归一化，算H*W的均值
  • GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G)*H*W的均值

LN 和 IN 在视觉识别上的成功率都是很有限的，对于训练序列模型（RNN/LSTM）或生成模型（GAN）很有效。

所以，在视觉领域，BN用的比较多，GN就是为了改善BN的不足而来的。

GN 把通道分为组，并计算每一组之内的均值和方差，以进行归一化。GN 的计算与批量大小无关，其精度也在各种批量大小下保持稳定。可以看到，GN和LN很像。

怎么做

在现有深度学习框架下可以轻松实现组归一化。
在这里插入图片描述

效果

杠杠滴
在这里插入图片描述

参考资料

FAIR何恺明等人提出组归一化：替代批归一化，不受批量大小限制

组归一化（Group Normalization）的解释

BatchNorm、LayerNorm、InstanceNorm以及GroupNorm
zwplus的博客
04-04 3087
如果某个特征的值明显大于另一个特征，这会导致模型输出的结果对该特征变化变的十分敏感。
深度学习中的归一化方法详解
介绍AI领域相关知识
11-24 1362
在深度学习中，归一化（Normalization）是一种关键的技术，它通过调整数据的分布，使得模型训练更加稳定、高效。归一化方法可以应用于输入数据、隐藏层激活值、甚至权重参数。归一化的主要作用有加速模型收敛（减少训练过程中的梯度消失或爆炸问题）、稳定训练过程（缓解内部协变量偏移问题）以及提高模型性能（增强模型的泛化能力，防止过拟合）。
GroupNorm(组归一化)
最新发布
2504_90888196的博客
03-05 323
GroupNorm是介于BatchNorm和LayerNorm之间的一种归一化方法。为什么需要GroupNorm？1. 解决BatchNorm的问题。2. 相比LayerNorm更合理。什么是GroupNorm？. GroupNorm的优势。
详解常用的Batch Norm、Group Norm，Layer norm、Instance Norm
lovep1的博客
03-15 1万+
本文主要分析各种norm化方法，包括batch norm， group norm， instance norm，等，用的最多的肯定是batch norm，后续凯明何大佬又提出了gropu norm，但是其实在cv里面还没有真正的普及，尤其是在工业界部署上面，用的最多的还是batch norm，尤其是前两年大量paper提出基于BN层的模型剪枝方法、基于BN的融合卷积计算方法等（本文不提及，后续文章有需要会单独分析此类论文）后，batch-norm凸显的更加重要了，本文将不按照论文结构解析。 1、batch
Group Norm（GN 组归一化）笔记
上个大学哪有不疯的？硬撑罢了！
11-23 1381
在视觉领域，其实最常用的还是BN，但BN也有缺点，通常需要比较大的Batch Size。对于比较大型的网络或者GPU显存不够的情况下，通常无法设置较大的batch size，此时可以使用GN。为了验证自己理解的是否正确，下面使用Pytorch做个简单的实验，创建一个随机变量，分别使用官方的GN方法和自己实现的GN方法做对比，看结果是否一样。对比官方和自己实现的方法，下图左边是通过官方GN方法得到的结果，右边是通过自己实现GN方法得到的结果。很明显和官方得到的结果是一模一样的，这也说明了自己的理解是正确的。
Group Norm 学习笔记
Learning
08-19 690
论文：《Group Normalization》 地址：https://arxiv.org/pdf/1803.08494.pdf 优势：小批量训练时优势明显（相比另三个 Norm） 其他：Batch Norm、Layer Norm、Instance Norm 方法 将通道分组，在每组做 Norm 代码 源自论文 def GroupNorm(x, gamma, beta, G, eps=1e−5): # x: input features with shape [N,C,H,W] # gamm.
Group Norm 学习
bl128ve900的博客
06-26 393
参考： 全面解读Group Normalization-（吴育昕-何恺明 ）https://zhuanlan.zhihu.com/p/35005794
【深度学习拾遗】四种归一化方式对比：| LayerNorm，BatchNorm，InstanceNorm，GroupNorm
专注于人工智能的算法与应用
03-13 7187
归一化技术可以很好地，缓解梯度消失/爆炸问题，并有助于更快地收敛，也是一种正则化技术防止过拟合实际中会看到好多归一化比如BatchNorm，LayerNorm，GroupNorm，InstanceNorm。
Group Normalization
peacefairy的博客
07-18 497
Group Normalization背景What's wrong with BN ？How GN work ?Why GN work ? 背景 Group Normalization 是有吴育昕和何恺明联合提出。 参考文献： [1] Wu, K. He, Group normalization, in: Proceedings of the European Conferenceon Computer Vision (ECCV), 2018, pp. 3–19 What’s wrong with BN ？
深度学习-各种归一化(Batch Norm、Layer Norm、Group Norm、InstanceNorm、Spatially-Adaptive Norm）
ssshyeong的博客
03-30 8114
数据的归一化操作是数据处理的一项基础性工作，本文主要介绍了现有的四种归一化方法，包括Batch Normalization、Layer Normalization、Group Normalization、InstanceNorm以及近期在图像翻译领域遇到的Spatially-Adaptive Normalization
深度学习——归一化
Blalaaa的博客
09-24 3050
假设一个函数：健康=3✖️身高+2✖️体重（身高：m，体重：斤）现在给出一个例子：1.6m130斤的人1，1.9m129的人2按照函数计算，你会发现他们的健康值差不多，故需要进行统一数量级，排除单位的干扰。最小-最大归一化将原始数据缩放到一个指定的最小和最大值（通常是0到1或-1到1）之间。公式如下：x——当出现3m的人，按照此公式会一直保留异常值的影响。
深度学习中的归一化方法简介（BN、LN、IN、GN）
firehuiplane的博客
05-31 2991
文章目录1. 协方差偏移 1. 协方差偏移 协方差偏移： 深度网络内部数据分布在训练过程中发生变化的现象。 协方差偏移的影响： 训练深度网络的时候，神经网络隐藏层参数更新会导致网络输出层输出数据的分布发生变化，如果不做归一化，那么每层网络输入的数据分布都是不同的。随着层数的增加，根据链式法则，这种偏移现象会逐渐被放大。这对于网络参数的学习来说是一个问题，因为神经网络本质就是学习数据分布，如果数据分布变化了，神经网络不得不学习新的分布。为了保证网络参数的稳定性和收敛性，往往会选择比较小的学习率，同时参数初始化
深度学习中归一化
m0_37531129的博客
05-20 1678
归一化层，目前主要有几个方法： Batch Normalization, Layer Normalization, Instance Normalization, Group Normalization, Switchable Normalization. 将输入图像shape 标记为[N, C, H, W],(N 是 batch size, C是 channel, HW是高和宽)： BatchNorm: 在batch上，对 NHW 做归一化，对小batchsize效果不好 LayerNorm: 在通道方向
深度学习基础知识 BatchNorm、LayerNorm、GroupNorm的用法解析
guoqingru0311的博客
10-10 2729
深度学习基础知识 BatchNorm、LayerNorm、GroupNorm的用法解析
论文阅读 - Group Normalization
长风破浪会有时，直挂云帆济沧海
10-31 1328
原文： 论文阅读 - Group Normalization - AIUAI 题目：Group Normalization - ECCV2018 作者：Yuxin Wu，Kaiming He 团队：FAIR <Group Normalization for Mask R-CNN - Detectron> Batch Normalization(BN) 是沿着 batch 维度进行归...
Group Normalization论文笔记--深入浅出组归一化
USTC_Lucas
11-25 2960
论文链接：https://arxiv.org/abs/1803.08494 提出背景： Group Normalization（GN）是针对Batch Normalization（BN）在batch size较小时错误率较高而提出的改进算法，因为BN层的计算结果依赖当前batch的数据，当batch size较小时（比如2、4这样），该batch数据的均值和方差的代表性较差，因此对最后的结果影响也...
组归一化（Group Normalization）的解释
热门推荐
duanshao的专栏
04-23 2万+
看了网上最新的一些文章，来解释组归一化（Group Normalization）。发现百家号的如下文章，解释的比较清晰。大家可去学习参考。文章标题是“全面解读Group Normalization”，网址如下http://baijiahao.baidu.com/s?id=1596620335120928574&wfr=spider&for=pc现把主要信息列举出来，便于今后学习。G...
区分不同的归一化方法，批归一化、层归一化、实例归一化、组归一化
weixin_47129891的博客
06-27 2702
不同的归一化方法适用于不同的应用场景和模型结构。Batch Normalization适用于大规模批量训练的CNN，Layer Normalization适用于RNN和小批量训练，Instance Normalization常用于风格迁移任务，而Group Normalization则提供了一种在各种任务中对小批量数据也能稳定有效的归一化方法。在实际应用中，选择适合的归一化方法可以显著提高模型的性能和训练效率。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值