深度学习中的组归一化（GroupNorm）

最新推荐文章于 2024-07-30 09:34:13 发布
最新推荐文章于 2024-07-30 09:34:13 发布
阅读量1.6w 收藏 80
点赞数 17
分类专栏： python 深度学习论文笔记和实践
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanlulu/article/details/84190971
版权
DL/ML/AI 同时被 3 个专栏收录
88 篇文章 7 订阅
订阅专栏
python
65 篇文章 5 订阅
订阅专栏
机器学习
59 篇文章 6 订阅
订阅专栏

批归一化（BN）的缺点

BN 需要用到足够大的批大小（例如，每个工作站采用 32 的批量大小）。一个小批量会导致估算批统计不准确，减小 BN 的批大小会极大地增加模型错误率。加大批大小又会导致内存不够用。

在这里插入图片描述

归一化的分类

在这里插入图片描述
BN，LN，IN，GN从学术化上解释差异：

  • BatchNorm：batch方向做归一化，算N*H*W的均值
  • LayerNorm：channel方向做归一化，算C*H*W的均值
  • InstanceNorm：一个channel内做归一化，算H*W的均值
  • GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G)*H*W的均值

LN 和 IN 在视觉识别上的成功率都是很有限的，对于训练序列模型（RNN/LSTM）或生成模型（GAN）很有效。

所以，在视觉领域，BN用的比较多，GN就是为了改善BN的不足而来的。

GN 把通道分为组，并计算每一组之内的均值和方差，以进行归一化。GN 的计算与批量大小无关，其精度也在各种批量大小下保持稳定。可以看到，GN和LN很像。

怎么做

在现有深度学习框架下可以轻松实现组归一化。
在这里插入图片描述

效果

杠杠滴
在这里插入图片描述

参考资料

FAIR何恺明等人提出组归一化：替代批归一化，不受批量大小限制

组归一化（Group Normalization）的解释

yuanlulu
关注
专栏目录
Group Norm（GN 组归一化）笔记
上个大学哪有不疯的？硬撑罢了！
11-23 1158
在视觉领域，其实最常用的还是BN，但BN也有缺点，通常需要比较大的Batch Size。对于比较大型的网络或者GPU显存不够的情况下，通常无法设置较大的batch size，此时可以使用GN。为了验证自己理解的是否正确，下面使用Pytorch做个简单的实验，创建一个随机变量，分别使用官方的GN方法和自己实现的GN方法做对比，看结果是否一样。对比官方和自己实现的方法，下图左边是通过官方GN方法得到的结果，右边是通过自己实现GN方法得到的结果。很明显和官方得到的结果是一模一样的，这也说明了自己的理解是正确的。
Group Norm 学习笔记
Learning
08-19 604
论文：《Group Normalization》 地址：https://arxiv.org/pdf/1803.08494.pdf 优势：小批量训练时优势明显（相比另三个 Norm） 其他：Batch Norm、Layer Norm、Instance Norm 方法 将通道分组，在每组做 Norm 代码 源自论文 def GroupNorm(x, gamma, beta, G, eps=1e−5): # x: input features with shape [N,C,H,W] # gamm.
深度学习基础入门篇：常用归一化算法、层次归一化算法、归一化和标准化区别于联系、应用案例场景分析
最新发布
2401_85325397的博客
07-30 681
归一化存在两种形式， * 一种是在通常情况下，将数处理为 \[0, 1\] 之间的小数，**其目的是为了在随后的数据处理过程中更便捷**。例如，在图像处理中，就会将图像从 \[0, 255\] 归一化到 \[0, 1\]之间，这样既不会改变图像本身的信息储存，又可加速后续的网络处理。 * 其他情况下，也可将数据处理到 \[-1, 1\] 之间，或其他的固定范围内。另一种是通过归一化将有量纲表达式变成无量纲表达式。
Group Norm 学习
bl128ve900的博客
06-26 355
参考： 全面解读Group Normalization-（吴育昕-何恺明 ）https://zhuanlan.zhihu.com/p/35005794
Group Normalization
peacefairy的博客
07-18 442
Group Normalization背景What's wrong with BN ？How GN work ?Why GN work ? 背景 Group Normalization 是有吴育昕和何恺明联合提出。 参考文献： [1] Wu, K. He, Group normalization, in: Proceedings of the European Conferenceon Computer Vision (ECCV), 2018, pp. 3–19 What’s wrong with BN ？
【深度学习拾遗】四种归一化方式对比：| LayerNorm，BatchNorm，InstanceNorm，GroupNorm
专注于人工智能的算法与应用
03-13 4722
归一化技术可以很好地，缓解梯度消失/爆炸问题，并有助于更快地收敛，也是一种正则化技术防止过拟合实际中会看到好多归一化比如BatchNorm，LayerNorm，GroupNorm，InstanceNorm。
论文阅读 - Group Normalization
长风破浪会有时，直挂云帆济沧海
10-31 1137
原文： 论文阅读 - Group Normalization - AIUAI 题目：Group Normalization - ECCV2018 作者：Yuxin Wu，Kaiming He 团队：FAIR <Group Normalization for Mask R-CNN - Detectron> Batch Normalization(BN) 是沿着 batch 维度进行归...
深度学习-各种归一化(Batch Norm、Layer Norm、Group Norm、InstanceNorm、Spatially-Adaptive Norm）
ssshyeong的博客
03-30 7502
数据的归一化操作是数据处理的一项基础性工作，本文主要介绍了现有的四种归一化方法，包括Batch Normalization、Layer Normalization、Group Normalization、InstanceNorm以及近期在图像翻译领域遇到的Spatially-Adaptive Normalization
深度学习中的归一化方法简介（BN、LN、IN、GN）
firehuiplane的博客
05-31 2659
文章目录1. 协方差偏移 1. 协方差偏移 协方差偏移： 深度网络内部数据分布在训练过程中发生变化的现象。 协方差偏移的影响： 训练深度网络的时候，神经网络隐藏层参数更新会导致网络输出层输出数据的分布发生变化，如果不做归一化，那么每层网络输入的数据分布都是不同的。随着层数的增加，根据链式法则，这种偏移现象会逐渐被放大。这对于网络参数的学习来说是一个问题，因为神经网络本质就是学习数据分布，如果数据分布变化了，神经网络不得不学习新的分布。为了保证网络参数的稳定性和收敛性，往往会选择比较小的学习率，同时参数初始化
深度学习中的归一化技术小结
渐渐遗忘的记忆
05-24 1618
深度学习中的归一化技术 主要有以下几种方法： Batch Normalization Layer Normalization Instance Normalization Group Normalization 核心步骤都是： x^(k)=x(k)−E[x(k)]Var⁡[x(k)]+ϵ \widehat{x}^{(k)}=\frac{x^{(k)}-\mathrm{E}\left[x^{(k...
【AI面试】BN（Batch Norm）批量归一化
钱多多先森
04-02 625
BN相关问题汇总，解决了什么问题？公式是什么？训练阶段和推理阶段，有什么不同？面试拿捏了
归一化(Normalization)
07-18
在深度学习中，归一化尤为重要，它可以帮助减少梯度下降过程中的振荡，从而加速模型的收敛速度，并提高最终模型的质量。 #### 批量归一化(Batch Normalization) **批量归一化**是针对深度神经网络的一种有效的归一...
Group Normalization论文笔记--深入浅出组归一化
USTC_Lucas
11-25 2717
论文链接：https://arxiv.org/abs/1803.08494 提出背景： Group Normalization（GN）是针对Batch Normalization（BN）在batch size较小时错误率较高而提出的改进算法，因为BN层的计算结果依赖当前batch的数据，当batch size较小时（比如2、4这样），该batch数据的均值和方差的代表性较差，因此对最后的结果影响也...
组归一化（Group Normalization）的解释
热门推荐
duanshao的专栏
04-23 2万+
看了网上最新的一些文章，来解释组归一化（Group Normalization）。发现百家号的如下文章，解释的比较清晰。大家可去学习参考。文章标题是“全面解读Group Normalization”，网址如下http://baijiahao.baidu.com/s?id=1596620335120928574&wfr=spider&for=pc现把主要信息列举出来，便于今后学习。G...
深度学习基础知识 BatchNorm、LayerNorm、GroupNorm的用法解析
guoqingru0311的博客
10-10 2290
深度学习基础知识 BatchNorm、LayerNorm、GroupNorm的用法解析
BatchNorm, LayerNorm, InstanceNorm和GroupNorm
@bangbang的博客
07-23 2468
Batch Norm: 对NHW计算归一化参数(均值和方差)，总共得到C组归一化参数, 相当于对每个channel进行归一化。BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布Layer Norm: 对CHW计算归一化参数，得到N(batch)组归一化参数，对于Batch为1，相当于对整个Feature map 做归一化。
详解常用的Batch Norm、Group Norm，Layer norm、Instance Norm
lovep1的博客
03-15 1万+
本文主要分析各种norm化方法，包括batch norm， group norm， instance norm，等，用的最多的肯定是batch norm，后续凯明何大佬又提出了gropu norm，但是其实在cv里面还没有真正的普及，尤其是在工业界部署上面，用的最多的还是batch norm，尤其是前两年大量paper提出基于BN层的模型剪枝方法、基于BN的融合卷积计算方法等（本文不提及，后续文章有需要会单独分析此类论文）后，batch-norm凸显的更加重要了，本文将不按照论文结构解析。 1、batch
何恺明、吴育昕最新成果：用组归一化替代批归一化
AI科技大本营
03-25 5012
编译 | 阿司匹林AI科技大本营按：近日，FAIR 团队的吴育昕和何恺明提出了组归一化（Group Normalization，简称 GN）的方法。其中，GN 将信号通道分成一个个组别，并在每个组别内计算归一化的均值和方差，以进行归一化处理。此外，GN 的计算与批量大小无关，而且在批次大小大幅变化时，精度依然稳定。实验结果证明，GN 在多个任务中的表现均优于基于 BN 的同类算法，这表明 GN 能
详细描述下深度学习中的归一化
08-13
### 回答1： 归一化是深度学习中一种常见的数据预处理技术，旨在将数据缩放到一个统一的尺度，以便网络更容易处理。归一化的主要方法包括： - 均值归一化：将数据减去平均值，再除以标准差，以使得数据的均值为0，标准差为1。 - 小数定标归一化：将数据除以最大值，以使得数据在0~1之间。 - 正则化：将数据缩放到一个比较小的范围，以防止梯度消失或爆炸。 通过归一化数据，网络能够更快地收敛，并且更容易找到全局最优解，从而提高网络的准确性。 ### 回答2： 深度学习中的归一化是指将输入数据进行预处理，将其缩放到一个特定的范围或分布中，以便更好地进行模型训练和优化。 在深度学习中，常见的归一化方法有两种：批量归一化（Batch Normalization）和层归一化（Layer Normalization）。 批量归一化是在每个隐藏层中对每一批输入数据进行归一化处理。它的原理是通过对每个特征按照均值和方差进行标准化，使得输入数据的均值为0，方差为1。这样可以防止某些特征值过大或过小对网络模型的训练造成影响，提高了网络的稳定性和收敛速度。批量归一化还可以作为正则化项，减少过拟合的风险。 层归一化是对每个样本在一个特定维度上进行归一化处理，通常是在通道维度上进行归一化。它的原理类似于批量归一化，但是不同的是计算均值和方差的范围不同，可以更好地应用在递归神经网络等无法完全取得批次数据进行训练的情况下。 归一化在深度学习中的作用主要有三个方面：一是加速收敛速度，使得模型更快地达到最优解；二是提高模型的泛化能力，减少模型过拟合；三是解决梯度消失和梯度爆炸等训练问题，使得模型训练更稳定。 在实际应用中，归一化是深度学习中的一项重要技术，可以使得模型在处理不同尺度、不同分布的数据时更加稳定和有效。通过归一化的预处理，可以提高深度学习模型的性能和表现。 ### 回答3： 在深度学习中，归一化（Normalization）是对输入数据进行预处理的一种重要技术。它恢复了输入数据的统计特性，使得神经网络能够更加稳定、高效地进行训练，提升了模型的泛化能力。 深度学习中的归一化通常包括两种常见方法：批量归一化（Batch Normalization）和层归一化（Layer Normalization）。 批量归一化是将每一个批次的输入数据进行归一化处理。通过计算每个特征在整个训练集上的均值和方差，然后对每个输入样本进行标准化，即将特征值减去均值，再除以方差，将数据分布调整到均值为0、方差为1的标准正态分布。批量归一化能够减小不同特征之间的尺度差异，加速网络的收敛速度，减少梯度消失问题。 层归一化则是将每一层神经元的输出进行归一化处理。它与批量归一化不同之处在于，它将每一层的输出看作一个整体进行归一化。通过计算每个神经元在一层上的均值和方差，再进行标准化处理。层归一化适用于无法批量处理的情况，例如循环神经网络。 归一化技术可以有效地降低梯度爆炸和消失问题，提高网络的稳定性。此外，归一化还有助于加速网络的收敛速度，减少训练时间。通过提高模型的泛化能力，归一化技术能够显著提高深度学习的精度和性能。 综上所述，归一化是深度学习中的一种重要技术，能够对输入数据进行处理，提高网络的稳定性和泛化能力。无论是批量归一化还是层归一化，在不同的场景中都有各自的优势和适用性，可根据具体问题的需求选择合适的归一化方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值