神经网络bn公式_BN，LN，IN，GN都是什么？不同归一化方法的比较

最新推荐文章于 2024-09-23 18:54:41 发布
最新推荐文章于 2024-09-23 18:54:41 发布
阅读量1.3k 收藏 4
点赞数 1
文章标签： 神经网络bn公式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42509868/article/details/112775339
版权
本文详细介绍了批处理归一化(BN)、层归一化(LN)、实例归一化(IN)和组归一化(GN)的区别与计算过程，并探讨了它们在不同场景下的适用性。BN常用于计算机视觉，但受限于批大小；GN则在小批量情况下表现良好，是BN的有效替代方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

33fb7282995c347a3d8a48663c55b58f.png

批处理归一化(BN)已经成为许多先进深度学习模型的重要组成部分，特别是在计算机视觉领域。它通过批处理中计算的平均值和方差来规范化层输入，因此得名。要使BN工作，批大小必须足够大，通常至少为32。但是，在一些情况下，我们不得不满足于小批量:

当每个数据样本高度消耗内存时，例如视频或高分辨率图像

当我们训练一个很大的神经网络时，它只留下很少的GPU内存来处理数据

因此，我们需要BN的替代品，它能在小批量下很好地工作。组归一化(GN)是一种最新的规范化方法，可以避免利用批处理维，因此与批处理大小无关。

不同的归一化方法

为了促进GN的表述，我们将首先看一下以前的一些标准化方法。

xᵢ ← (xᵢ - ᵢ) / √( ᵢ² + )

对于每个系数xᵢ输入特性。 ᵢ和 ᵢ²的均值和方差计算的集合Sᵢ系数,和 是一个小的常数数值稳定,避免除零。唯一的区别是集Sᵢ是如何选择的。

为说明归一化方法的计算，我们考虑一批N = 3，输入特征a, b, c，它们有通道c = 4，高度H = 1，宽度W = 2:

a = [ [[2, 3]], [[5, 7]], [[11, 13]], [[17, 19]] ]
b = [ [[0, 1]], [[1, 2]], [[3, 5]], [[8, 13]] ]
c

最低0.47元/天 解锁文章
深度学习中的五种归一化（BN、LN、IN、GN和SN)
sdw8855的博客
08-31 2110
局部响应归一化（Local Response Normalization, 即LRN）首次提出于AlexNet。LRN的创意来源于神经生物学的侧抑制，被激活的神经元会抑制相邻的神经元。用一句话来形容LRN：让响应值大的feature map变得更大，让响应值小的变得更小。 其主要思想在于让不同卷积核产生feature map之间的相关性更小，以实现不同通道上的feature map专注于不同的特征的作用，例如A特征在一通道上更显著，B特征在另一通道上更显著。 神经网络学习过程的本质就是为了学习数据分布，
深度学习中的归一化方法总结（BN、LN、IN、GN、SN、PN、BGN、CBN、FRN、SaBN）
热门推荐
u011447962的博客
06-08 1万+
训练深度网络时，神经网络隐层参数更新会导致网络输出层输出数据的分布发生变化，而且随着层数的增加，根据链式规则，这种偏移现象会逐渐被放大。这对于网络参数学习来说是个问题：因为神经网络本质学习的就是数据分布（representation learning），如果数据分布变化了，神经网络又不得不学习新的分布。为保证网络参数训练的稳定性和收敛性，往往需要选择比较小的学习速率（learning rate），同时参数初始化的好坏也明显影响训练出的模型精度，特别是在训练具有饱和非线性（死区特性）的网络。...
Batch Normalization详解以及BN和LN的区别
qq_38375203的博客
06-09 1344
最近要找工作，也是复习一下面经。之前经常看过的BN也是面试中的重中之重，记得当时面试华为诺亚方舟实验室的时候，面试官就问到了我BN和LN的区别，当时也仅仅是将这两者的区别说出来了，但是并没有进行扩展，现在想想也是有点后悔的（其实当时自己也不知道该扩展啥）。在今天也就做一下总结，来概括一下这两者的区别以及BN的动机原理。在机器学习领域有个非常重要的假设样本之间的独立同分布，也就是训练数据和测试数据假设是满足相同分布，这样我们通过训练数据训练模型才能够在测试数据上获得较好的效果(这个独立同分布是一个前提)。 然
计算ln_BN，LN，IN，GN都是什么？不同归一化方法的比较
weixin_42365510的博客
12-30 740
批处理归一化(BN)已经成为许多先进深度学习模型的重要组成部分，特别是在计算机视觉领域。它通过批处理中计算的平均值和方差来规范化层输入，因此得名。要使BN工作，批大小必须足够大，通常至少为32。但是，在一些情况下，我们不得不满足于小批量:当每个数据样本高度消耗内存时，例如视频或高分辨率图像当我们训练一个很大的神经网络时，它只留下很少的GPU内存来处理数据因此，我们需要BN的替代品，它能在小批量下很...
BN和LN的区别
天空的味道
04-25 2018
BN 针对一个batch_size中同一维度的样本在做处理。比如上图，有x1,x2,…,xR个样本，这些样本的第一个维度描述的是体重，第二个维度描述的身高，BN在所有样本的的每一个特征（比如体重维度、身高维度）上进行归一化， BN的优点：第一个优点可以解决内部协变量偏移，第二个优点就是缓解了梯度饱和问题（如果使用sigmoid函数的话），加快收敛。 BN的缺点：第一个缺点batch_size较小的时候，效果很差，因为BN就是用batch_size中样本的均值和方差去模拟全部样本的均值和方差，这个假设在
BN与LN的区别
进击的扛把子
04-25 1万+
BN与LN的区别 主要区别在于 normalization的方向不同！ Batch 顾名思义是对一个batch进行操作。假设我们有 10行 3列 的数据，即我们的batchsize = 10，每一行数据有三个特征，假设这三个特征是【身高、体重、年龄】。那么BN是针对每一列（特征）进行缩放，例如算出【身高】的均值与方差，再对身高这一列的10个数据进行缩放。体重和年龄同理。这是一种“列缩放”。 而layer方向相反，它针对的是每一行进行缩放。即只看一笔数据，算出这笔所有特征的均值与方差再缩放。这是一种“行缩放”
LN和BN对比
m0_53675977的博客
04-01 796
的确，对于神经网络的各层输出，在经过了层内操作后，各层输出分布就会与对应的输入信号分布不同，而且差异会随着网络深度增大而加大了，但每一层所指向的Label仍然是不变的。这是通过训练数据获得的模型能够在测试集上获得好的效果的一个基本保障。2、在训练的时候，是分批量进行填入模型的，但是在预测的时候，如果只有一个样本或者很少量的样本来做inference，这个时候用BN显然偏差很大，例如在线学习场景。3、RNN是一个动态的网络，也就是size是变化的，可大可小，造成多样本维度都没法对齐，所以不适合用BN。
深度学习归一化方法总结(BN、LN、IN、GN)
weixin_43570470的博客
04-09 8046
一般在神经网络中会用到数据的归一化，比如在卷积层后进行归一化然后再下采样然后再激活等。目前比较受欢迎的数据归一化层有：BN(Batch Normalization)，LN(Layer Normalization)，IN(Instance Normalization)，GN(Group Normalization)这4种。本篇文章主要是对比一下它们各自是怎么计算的。 先看对数据的归一化是这么操作的。其实就是先计算均值和方差然后再标准化即可。具体的对一个标量数据，在给定的数据集中进行标准化是按如下进行计算的：
四种归一化方法BN，LN，IN，GN的比较
qq_40268255的博客
02-04 2687
1.计算方法的不同 BatchNorm：batch方向做归一化，算NHW的均值 LayerNorm：channel方向做归一化，算CHW的均值。为了能够在只有当前一个训练实例下，找到一个合理的统计范围，一个直接的想法是：把同一个卷积层作为集合，求均值和方差；对于RNN，就是把同层隐层神经元的响应值（不同时刻）作为集合，再求均值和方差。 InstanceNorm：一个channel内做归一化，算H*...
深度学习中的归一化方法简介（BN、LN、IN、GN）
firehuiplane的博客
05-31 2962
文章目录1. 协方差偏移 1. 协方差偏移 协方差偏移： 深度网络内部数据分布在训练过程中发生变化的现象。 协方差偏移的影响： 训练深度网络的时候，神经网络隐藏层参数更新会导致网络输出层输出数据的分布发生变化，如果不做归一化，那么每层网络输入的数据分布都是不同的。随着层数的增加，根据链式法则，这种偏移现象会逐渐被放大。这对于网络参数的学习来说是一个问题，因为神经网络本质就是学习数据分布，如果数据分布变化了，神经网络不得不学习新的分布。为了保证网络参数的稳定性和收敛性，往往会选择比较小的学习率，同时参数初始化
LN层和BN层的区别？
GamBleout的博客
09-23 823
LN层，即层标准化层，是另一种归一化技术，它主要关注于对神经网络中某一层的所有神经元进行归一化处理。
归一化总结：BN和LN的差别
weixin_44543648的博客
05-17 3351
参考链接：https://blog.csdn.net/qq_37541097/article/details/117653177 https://blog.csdn.net/Strive_For_Future/article/details/115220627 为什么要归一化： 在机器学习和深度学习中，有一个共识：独立同分布的数据可以简化模型的训练以及提升模型的预测能力——这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。也就是说我们在使用机器学习和深度学习的时候，会把数据尽可能的做一个独立
BN和LN
qq_41284164的博客
09-15 923
BN和LN对比 共同作用：加速网络收敛，避免梯度消失。 BN: Batch Normalization,每个batch中同一个维度每个特征做BN，如橙框所示。 LN: Layer Normalization,对一个样本不同特征做LN，如红框所示。 BN缺点: (1) BN用batch来模拟整个样本分布情况，比较依赖batchsize的大小，如果batchsize太小，则计算的均值、方差不足以代表整个数据分布。 (2)在RNN中，BN效果较差。 (ICML2020:Rethinking Batch Norma
【深度学习中的批量归一化BN和层归一化LN】BN层（Batch Normalization）和LN层（Layer Normalization）的区别
m0_48086806的博客
08-07 1万+
【深度学习中的批量归一化和层归一化】BN层（Batch Normalization）和LN层（Layer Normalization）的区别
基础算法：BN与LN算法区别
weixin_48186491的博客
10-10 1061
网址：https://blog.csdn.net/Miracle_520/article/details/105429456?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162814815816780271581681%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162814815816780271581681
BN、LN、IN、GN的区别
SCU-JJkinging的博客
07-24 3934
一、Batch Normalization        卷积神经网络的出现，网络参数量大大减低，使得几十层的深层网络成为可能。然而，在残差网络出现之前，网络的加深使得网络训练变得非常不稳定，甚至出现网络长时间不更新甚至不收敛的现象，同时网络对超参数比较敏感，超参数的微量扰动也会导致网络的训练轨迹完全改变。        2015年，Google研究人员SergeyIo
（十二）BN和LN
Miracle_520的博客
04-11 5043
文章目录一、基于规则的方法二、基于监督学习的方法三、Bootstrap算法四、Snowball 一、基于规则的方法 优点： 比较准确 不需要训练数据 缺点： low recall rate，（覆盖问题），覆盖范围小，很多规则人想不到 成本（人力） 规则本身难以设计（规则不冲突，规则不冗余） 二、基于监督学习的方法 定义关系类型 定义实体类型 训练数据准确 实体标记好（类型） ...
归一化总结：BN、LN、IN、GN、SN
weixin_47748259的博客
03-28 3677
在机器学习领域中，不同评价指标（即一组特征中的不同特征就是所述的不同评价指标）往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。即，原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。数据归一化一般有[0,1]归一化和正态分布归一化两种方法：[0,1]归一化：使结果值映射到[0，1]之间。
《动手学》-BN层,BN与LN区别
qq_36136196的博客
07-12 1222
目录1.理论1.1 问题引出1.2 基本定义1.3作用1.4 总结2.代码3. QA 1.理论 1.1 问题引出 批量归一化 底部就是靠近输入那一层 正向forward算出损失来，通过反向得到梯度，根据链式法则，梯度相乘，越靠近底部的变量梯度越小，导致底部层训练的慢。 1.2 基本定义 根据之前提到的将各个层的分布（均值和方差）固定，可以很大层度上将各个层的梯度固定在一个很合理的值。通过小批量的减均值除方差，将分布固定在0，1分布上。然后通过γ和β两个可学习的参数小幅移动分布。 1.3作用 最初论文
深度学习中的归一化方法总结和比较（BN、LN、IN、GN、SN、PN、BGN、CBN、FRN、SaBN）
最新发布
03-15
### 不同深度学习归一化方法的特点及对比 #### 批量归一化 (Batch Normalization, BN) 批量归一化是一种广泛应用于卷积神经网络的技术，它通过对每一批数据进行标准化来减少内部协变量偏移。这种方法在大、中批处理场景中表现出色，在多种视觉任务上具有良好的泛化能力[^1]。然而，当批次大小较小时，BN 的性能会显著下降，因为此时估计均值和方差的准确性较低。 #### 层归一化 (Layer Normalization, LN) 层归一化是对单一样本的所有特征维度计算均值和标准差来进行规范化的方法。相比 BN，LN 对于小批量训练更加稳定，因为它不依赖于批次统计信息。这种特性使得 LN 成为序列建模任务（如自然语言处理）的理想选择[^2]。 #### 实例归一化 (Instance Normalization, IN) 实例归一化针对的是图像风格迁移领域的问题，其中每个样本被独立地按通道进行归一化操作而不考虑其他样本的影响。这有助于保留输入图片的空间结构并突出纹理细节。 #### 组归一化 (Group Normalization, GN) 组归一化将通道划分为若干组并对每一组单独执行归一化过程。这种方式既避免了 BN 中的小批量问题又保持了一定程度上的效率提升；因此适用于各种规模的数据集以及不同的硬件环境下的模型部署需求。 #### 谱归一化 (Spectral Normalization, SN) 谱归一化的目的是控制权重矩阵的最大奇异值以实现 Lipschitz 连续性的约束条件，主要用于生成对抗网络(GANs)的研究当中。通过限制判别器函数的变化范围可以有效缓解模式崩溃现象的发生概率。 #### 幂次归一化 (PowerNorm, PN) 幂次归一化引入了一个额外参数 k 来调整激活值分布形状从而达到更好的优化效果。相比于传统的 BN 或者 LN 方法来说，它可以更灵活地适应不同类型的任务要求。 #### 双重分组归一化 (Biased Group Normalization, BGN) 双重分组归一化扩展了普通的 GN 结构，允许在同一时间应用两个不同类型的归一化策略——即先做全局级别的再局部级别或者反过来顺序也可以互换。这样的设计能够进一步增强表达力同时维持数值稳定性。 #### 条件批量归一化 (Conditional Batch Normalization, CBN) 条件批量归一化允许外部信号(比如类别标签或其他上下文信息)动态调节归一化过程中使用的缩放和平移因子 gamma 和 beta 。这对于构建可解释性强且交互友好的 AI 应用程序非常有用。 #### 频率响应归一化 (Frequency Response Normalization, FRN) 频率响应归一化旨在解决传统归一化技术可能破坏原始信号频域特性的缺陷。具体而言，它是基于傅里叶变换后的幅度谱定义新的归一化准则，进而更好地保护高频成分免受不必要的抑制作用影响。 #### 自适应批量归一化 (Self-Attention Batch Normalization, SaBN) 自适应批量归一化结合注意力机制来自动生成适合当前 mini-batch 特征表示的最佳归一化方案。该方法不仅提高了收敛速度还增强了最终预测精度水平。 ```python import torch.nn as nn class CustomNormalization(nn.Module): def __init__(self, norm_type='bn'): super(CustomNormalization, self).__init__() if norm_type == 'bn': self.norm_layer = nn.BatchNorm2d(num_features=64) elif norm_type == 'ln': self.norm_layer = nn.LayerNorm(normalized_shape=[64]) # Add other normalization types here... def forward(self, x): return self.norm_layer(x) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值