LN，IN，GN，SN归一化原理详解

最新推荐文章于 2024-03-28 17:55:17 发布
最新推荐文章于 2024-03-28 17:55:17 发布
阅读量1.2k 收藏 29
点赞数 28
分类专栏： 深度学习专栏 文章标签： 人工智能 深度学习 神经网络 cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51700479/article/details/135886106
版权

1 LN

1.1 BN的一些缺点

在Batch Normalization中存在以下几个缺点：
        
1 对batchsize大小敏感， 由于每次计算均值和方差是在同一个batch上， 如果batchsize设置的太小， 计算出来的均值和方差不足以代表整个数据分布。
2 BN的计算过程中需要保存某一层神经网络batch的均值和方差等统计信息， 对于固定长度的网络结构(DNN、 CNN)比较适合， 但是对于不定长度的RNN的，训练比较麻烦。

1.2 LN介绍以及优点

在Layer Normalization中， 是针对不同样本计算当前样本的所有神经元的均值和方差， 也就是说在LN中， 同层神经元输入拥有相同的均值和方差， 不同的输入样本具有不同的均值和方差； 而在BN中， 同层的不同神经元输入的是不同的均值和方差， 而同一个batch中的所有样本拥有相同的方差和均值
上述是类似全连接的时候，下面是有通道的时候
BN的是对不同样本的同一个通道的每个位置分别计算均值和方差，并用这些统计量对该位置上的值进行归一化
而LN具体的计算方式是 同一个样本上所有通道，每个通道的所有点，全加起来计算均值和方差，然后利用这个均值和方差对这个样本上所有点进行归一化
主要优点：
        不受样本批次大小的影响
        在RNN上效果比较明显， 但是在CNN上， 效果不及BN
上图就是LN的归一化示例范围
LN的计算在归一化跟BN一样，每个点的值减去该通道的均值，然后除以该通道的方差的平方根（通常还会加上一个小的常数epsilon以避免除以零）。通常在归一化后，还会对每个点进行重新缩放和偏移（即乘以一个“尺度”参数γ并加上一个“偏移”参数β），这两个参数是可学习的，允许模型恢复原始的数据分布（如果这对于解决任务是有益的）。
类似于BN的下图

2 IN

Instance Normalization 在某些类型的网络中，特别是在风格转换和图像生成任务中，非常流行。

工作原理：

1 对于每个样本中的每个通道，单独计算该通道内所有值的均值和方差。这意味着对于每个样本的每个通道，你都会聚集该通道内的所有点的值，然后计算这些值的均值和方差。

2 然后，使用计算出的均值和方差对该通道内的每个值进行归一化。具体来说，每个点的值减去该通道的均值，然后除以该通道的方差的平方根（通常还会加上一个小的常数epsilon以避免除以零）。

3 和BN、LN一样，Instance Normalization 也可以包括一个重新缩放（scale）和偏移（shift）步骤，其中每个通道有自己的可学习参数（γ和β），用于进一步调整数据分布。

3 GN

Group Normalization 是一种介于Instance Normalization 和 Layer Normalization之间的标准化技术，它旨在克服批次大小对Batch Normalization性能影响的问题。
GN的工作原理：
1 将每个样本的通道分成几组。每组包含一定数量的通道。例如，如果一个样本有32个通道，而你选择的组数为8，那么每组将有4个通道
2 对于每个样本中的每组，计算该组内所有通道的所有空间位置的值的均值和方差。这意味着，你会将同一组内的所有通道的所有点的值聚集起来，然后计算这些值的均值和方差
3 然后，使用计算得到的均值和方差对该组内的每个通道的每个空间位置的值进行归一化。具体来说，每个点的值减去该组的均值，然后除以该组的方差的平方根（通常还会加上一个小的常数epsilon以避免除以零）
4 类似于其他标准化技术，Group Normalization 也可以包含一个重新缩放（scale）和偏移（shift）步骤，每组有自己的可学习参数（γ和β），用于进一步调整数据分布。
通过这种方式，Group Normalization 能够在不同样本之间独立操作，并且不像Batch Normalization那样对批次大小敏感。这使得GN在小批次大小的情况下表现更为稳定，尤其是在资源受限或实时处理场景中非常有用。
四者类似于下图：
4 SN

在Switchable Normalization（SN）中，对于每个样本的每个通道，都会使用Batch Normalization（BN）、Instance Normalization（IN）和Layer Normalization（LN）计算得到的均值和方差。然后，这些均值和方差会根据学习到的权重进行加权组合，之后用于归一化该通道的每个位置的值。具体来说：

  1. 对于一个给定的样本和一个特定的通道：

    • 你会得到BN计算的该通道所有样本的均值和方差。
    • 同时，你也会得到IN计算的该通道该样本的均值和方差。
    • 还有LN计算的该样本所有通道的均值和方差。

  2. 这些均值和方差会被加权组合：

    • 通过学习到的权重（对于BN、IN和LN），你可以得到一个综合的均值和一个综合的方差。

  3. 使用这个综合的均值和方差进行归一化：

    • 每个位置的值会用这个综合的均值和方差进行归一化处理。

  4. 当处理下一个通道时：

    • BN的均值和方差会基于新通道的所有样本重新计算。
    • IN的均值和方差会基于该样本新通道的值重新计算。
    • LN的均值和方差（如果LN是按样本计算的话）不会改变，因为它是基于整个样本的所有通道计算的。
    • 其中，BN对于通道来说，计算的是通道的每个位置的均值和方差，所以，对于下一个值进行归一化的时候，会使用之前BN对于这个值已经保存的均值和方差进行归一化

通过这种方式，Switchable Normalization 能够在BN、IN和LN之间灵活切换，使得网络能够自适应地选择最适合当前任务和数据分布的归一化策略，这有助于提高模型的性能和稳定性。

深度学习中的五种归一化（BN、LN、IN、GN和SN)
sdw8855的博客
08-31 2161
局部响应归一化（Local Response Normalization, 即LRN）首次提出于AlexNet。LRN的创意来源于神经生物学的侧抑制，被激活的神经元会抑制相邻的神经元。用一句话来形容LRN：让响应值大的feature map变得更大，让响应值小的变得更小。 其主要思想在于让不同卷积核产生feature map之间的相关性更小，以实现不同通道上的feature map专注于不同的特征的作用，例如A特征在一通道上更显著，B特征在另一通道上更显著。 神经网络学习过程的本质就是为了学习数据分布，
pytorch笔记（一）归一化 BN、LN、IN、GN、SN
_yuki_
08-05 1705
概念： Batch Normalization (BN):在batch上，对NHW做归一化，对小batchsize效果不好 Layer Normalization (LN):在通道方向上，对CHW归一化，主要对RNN作用明显 Instance Normalization (IN):在图像像素上，对HW做归一化，用在风格化迁移 Group Normalization (GN):将channel分组，然后再做归一化 Switchable Normalization (SN):将BN、LN、IN结合，赋
深度剖析 | SN 可微分学习的自适配归一化 (Switchable Normalization)
Snoopy_Dream
07-12 6304
补充：NIPS 2018 | MIT新研究参透批归一化原理 根据最新的研究，BN层的成功和协方差什么的没有关联！证明这种层输入分布稳定性与 BatchNorm 的成功几乎没有关系。相反，我们发现 BatchNorm 会对训练过程产生更重要的影响：它使优化解空间更加平滑了。这种平滑使梯度更具可预测性和稳定性，从而使训练过程更快。 而且BatchNorm 并不是最好（唯一）的平滑解空间的方法，有时...
归一化总结：BN、LN、IN、GN、SN
weixin_47748259的博客
03-28 3900
在机器学习领域中，不同评价指标（即一组特征中的不同特征就是所述的不同评价指标）往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。即，原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。数据归一化一般有[0,1]归一化和正态分布归一化两种方法：[0,1]归一化：使结果值映射到[0，1]之间。
归一化操作LN
fht3873的博客
02-21 277
对一批图片按照单图片单通道进行处理，示例 公式：
归一化
谢彦的技术博客
06-14 1489
为什么使用归一化 如果输入有多个feature，且它们的数值范围有很大差异，这样训练时学习率就不能设置得太大，以免大幅调参引发越界。反之，如果各个feature有相同的均值和方差，则可使用更高的学习率，使收敛更快。归一化解决了梯度爆炸和梯度消失的问题，使构建更深层的网络成为可能，还避免了梯度爆炸和梯度消失。 使用模型时需要保证训练数据和测试数据同分布。在机器学习中往往对输入数据进行归一化处理，在深度学习中则常对网络的每一层都做归一化处理，以保证每次处理的数据分布一致。这也使得层与层之间更加独立，依赖更小
深度学习中的归一化方法总结（BN、LN、IN、GN、SN、PN、BGN、CBN、FRN、SaBN）
u011447962的博客
06-08 1万+
训练深度网络时，神经网络隐层参数更新会导致网络输出层输出数据的分布发生变化，而且随着层数的增加，根据链式规则，这种偏移现象会逐渐被放大。这对于网络参数学习来说是个问题：因为神经网络本质学习的就是数据分布（representation learning），如果数据分布变化了，神经网络又不得不学习新的分布。为保证网络参数训练的稳定性和收敛性，往往需要选择比较小的学习速率（learning rate），同时参数初始化的好坏也明显影响训练出的模型精度，特别是在训练具有饱和非线性（死区特性）的网络。...
深度学习中的归一化方法简介（BN、LN、IN、GN）
firehuiplane的博客
05-31 3007
文章目录1. 协方差偏移 1. 协方差偏移 协方差偏移： 深度网络内部数据分布在训练过程中发生变化的现象。 协方差偏移的影响： 训练深度网络的时候，神经网络隐藏层参数更新会导致网络输出层输出数据的分布发生变化，如果不做归一化，那么每层网络输入的数据分布都是不同的。随着层数的增加，根据链式法则，这种偏移现象会逐渐被放大。这对于网络参数的学习来说是一个问题，因为神经网络本质就是学习数据分布，如果数据分布变化了，神经网络不得不学习新的分布。为了保证网络参数的稳定性和收敛性，往往会选择比较小的学习率，同时参数初始化
BN LN IN GN归一化操作的差异性
qq_28013751的博客
09-12 332
论文基础： 1.简述 1.1 论文链接 (1)、Batch Normalization 2015 https://arxiv.org/pdf/1502.03167.pdf (2)、Layer Normalizaiton 2016 https://arxiv.org/pdf/1607.06450v1.pdf (3)、Instance Normalization 2017 https:...
神经网络常见归一化操作总结（BN、LN、IN、SN）
ShiTianlei的博客
04-18 1775
BN（Batch Normalization）、LN（Layer Normalization）和IN（Instance Normalization）与SN（Spectral Normalization）都是归一化方法，但它们的作用对象和计算方式略有不同。
BN与LN归一化
M_arshal_的博客
10-25 285
d：特征 b：batch_size将多少数据打包 len：长度 BN就是取出一个特征（所有样本的一个特征），对其进行归一化，直到取完全部特征。 LN就是取出所有的batch，取出每个batch中的一个样本进行归一化。 ...
归一化方法 BN、LN、IN、GN、SN
weixin_39910711的博客
04-25 2986
目录 1 概念 2 图解 3 公式 4 Batch normalization和Layer normalization有什么区别？ 4.1为什么ML中用BN比较多？ 4.1.1 ML & batch normalization 4.1.2 ML & layer normalization 4.1.3WhyML&BN? 4.2为什么NLP中用LN比较多？ 4.2.1NLP & batch normalization 4.2.2NLP &am...
深度学习中的五种归一化（BN、LN、IN、GN和SN）方法简介
Acmer_future_victor的博客
03-03 1143
文章链接https://blog.csdn.net/u013289254/article/details/99690730
算法笔记(一)归一化之BN LN IN
sleepinghm的博客
08-30 765
前言 规一化的作用: 调整数据分布,增加网络泛化度. 若每批数据分布不同,神经网络需要不断调整模型权重去适应不同的数据分布,因此可以增加训练速度 缓解Internal Covariate Shift问题,将数据分布拉到激活函数的非饱和区,具有权重/数据伸缩不变性的特点. 起到缓解梯度消失/爆炸,加速训练,正则化的效果. 内部协变量转移internal convarite shift: 简设模型函数 y=f(θ,x)y=f(\theta,x)y=f(θ,x),训练时,每层网络的输入数据分布会不断变化
（简洁）深度学习中的五种归一化（BN、LN、IN、GN和SN）
qq_43703185的博客
08-26 951
原文链接：https://blog.csdn.net/u013289254/article/details/99690730 一. 本文的内容包括：     1. Batch Normalization，其论文：https://arxiv.org/pdf/1502.03167.pdf   &nbs
深度学习归一化BN、LN、IN、GN
aopang1115的博客
08-17 297
深入理解Batch Normalization批标准化 转自博客：https://www.cnblogs.com/guoyaohua/p/8724433.html https://www.cnblogs.com/guoyaohua/p/8724433.html 常用的 Normalization 方法：BN、LN、IN、GN 转自知乎：https://zhuanlan.zhihu...
各种归一化Normalization（BN、LN、IN、GN、WN）
热门推荐
Drug discovery
03-25 1万+
一. 本文的内容包括： 1.Batch Normalization，其论文：https://arxiv.org/pdf/1502.03167.pdf 2.Layer Normalizaiton，其论文：https://arxiv.org/pdf/1607.06450v1.pdf 3.Instance Normalization，其论文：https://arxiv.org/pdf/1607.08022.pdf 4.Group Normalization，其论文：...
深度学习中 BN、 LN 归一化的作用以及意义
Colin_xuan的博客
09-25 1636
之前一直对各种归一化只停留下会使用的阶段，后来研究了一下，写下此文章当做读后感，如有任何理解错误，还请评论区指正。 提出背景： 总所周知，深度神经网络是很多层堆积而成，比如说一个网络有50层，第一层的参数更新，经过层层相乘，会使得第50层的输入变化非常剧烈，就要不断去适应，降低的收敛速度。 其次底层输入过大或者过小，会使得输出落入饱和区（sigmoid），导致梯度消失，使得学习过早停止。所以将输入数据映射到非饱和区提高模型表达能力是一个非常重要的任务 ...
常用的归一化（Normalization） 方法：BN、LN、IN、GN
qq_38410428的博客
09-29 9092
常用的Normalization方法主要有：Batch Normalization（BN，2015年）、Layer Normalization（LN，2016年）、Instance Normalization（IN，2017年）、Group Normalization（GN，2018年）。它们都是从激活函数的输入来考虑、做文章的，以不同的方式对激活函数的输入进行 Norm 的。 我们将输入的 fe...
深度学习中的归一化方法总结和比较（BN、LN、IN、GN、SN、PN、BGN、CBN、FRN、SaBN）
最新发布
03-15
### 不同深度学习归一化方法的特点及对比 #### 批量归一化 (Batch Normalization, BN) 批量归一化是一种广泛应用于卷积神经网络的技术，它通过对每一批数据进行标准化来减少内部协变量偏移。这种方法在大、中批处理场景中表现出色，在多种视觉任务上具有良好的泛化能力[^1]。然而，当批次大小较小时，BN 的性能会显著下降，因为此时估计均值和方差的准确性较低。 #### 层归一化 (Layer Normalization, LN) 层归一化是对单一样本的所有特征维度计算均值和标准差来进行规范化的方法。相比 BN，LN 对于小批量训练更加稳定，因为它不依赖于批次统计信息。这种特性使得 LN 成为序列建模任务（如自然语言处理）的理想选择[^2]。 #### 实例归一化 (Instance Normalization, IN) 实例归一化针对的是图像风格迁移领域的问题，其中每个样本被独立地按通道进行归一化操作而不考虑其他样本的影响。这有助于保留输入图片的空间结构并突出纹理细节。 #### 组归一化 (Group Normalization, GN) 组归一化将通道划分为若干组并对每一组单独执行归一化过程。这种方式既避免了 BN 中的小批量问题又保持了一定程度上的效率提升；因此适用于各种规模的数据集以及不同的硬件环境下的模型部署需求。 #### 谱归一化 (Spectral Normalization, SN) 谱归一化的目的是控制权重矩阵的最大奇异值以实现 Lipschitz 连续性的约束条件，主要用于生成对抗网络(GANs)的研究当中。通过限制判别器函数的变化范围可以有效缓解模式崩溃现象的发生概率。 #### 幂次归一化 (PowerNorm, PN) 幂次归一化引入了一个额外参数 k 来调整激活值分布形状从而达到更好的优化效果。相比于传统的 BN 或者 LN 方法来说，它可以更灵活地适应不同类型的任务要求。 #### 双重分组归一化 (Biased Group Normalization, BGN) 双重分组归一化扩展了普通的 GN 结构，允许在同一时间应用两个不同类型的归一化策略——即先做全局级别的再局部级别或者反过来顺序也可以互换。这样的设计能够进一步增强表达力同时维持数值稳定性。 #### 条件批量归一化 (Conditional Batch Normalization, CBN) 条件批量归一化允许外部信号(比如类别标签或其他上下文信息)动态调节归一化过程中使用的缩放和平移因子 gamma 和 beta 。这对于构建可解释性强且交互友好的 AI 应用程序非常有用。 #### 频率响应归一化 (Frequency Response Normalization, FRN) 频率响应归一化旨在解决传统归一化技术可能破坏原始信号频域特性的缺陷。具体而言，它是基于傅里叶变换后的幅度谱定义新的归一化准则，进而更好地保护高频成分免受不必要的抑制作用影响。 #### 自适应批量归一化 (Self-Attention Batch Normalization, SaBN) 自适应批量归一化结合注意力机制来自动生成适合当前 mini-batch 特征表示的最佳归一化方案。该方法不仅提高了收敛速度还增强了最终预测精度水平。 ```python import torch.nn as nn class CustomNormalization(nn.Module): def __init__(self, norm_type='bn'): super(CustomNormalization, self).__init__() if norm_type == 'bn': self.norm_layer = nn.BatchNorm2d(num_features=64) elif norm_type == 'ln': self.norm_layer = nn.LayerNorm(normalized_shape=[64]) # Add other normalization types here... def forward(self, x): return self.norm_layer(x) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值