各种Normalization：BatchNorm、LayerNorm、InstanceNorm、GroupNorm、SwitchableNorm、AttentiveNorm

最新推荐文章于 2024-04-01 13:48:38 发布
最新推荐文章于 2024-04-01 13:48:38 发布
阅读量2k 收藏 6
点赞数 2
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39382877/article/details/98875822
版权
本文详细介绍了Normalization的几种方法，包括BatchNorm、LayerNorm、InstanceNorm、GroupNorm、SwitchableNorm和AttentiveNorm。文章探讨了它们的原理、应用场景和优缺点，特别指出BatchNorm对小batchsize的局限性以及LayerNorm在RNN中的优势。此外，还提到了SwitchableNorm和AttentiveNorm作为适应不同任务的新型归一化技术。
摘要由CSDN通过智能技术生成

Index

主要参考了这篇博客BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结，另外添加了AttentiveNorm。

前言

论文链接

1、Batch Normalization：https://arxiv.org/pdf/1502.03167.pdf
2、Layer Normalizaiton：https://arxiv.org/pdf/1607.06450v1.pdf
3、Instance Normalization：https://arxiv.org/pdf/1607.08022.pdf
4、Group Normalization：https://arxiv.org/pdf/1803.08494.pdf
5、Switchable Normalization：https://arxiv.org/pdf/1806.10779.pdf
6、AttentiveNorm：https://arxiv.org/pdf/1908.01259.pdf

介绍

归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2018年），Attentive Normalization（2019年）；

将输入的图像shape记为[N, C, H, W]，这几个方法主要的区别就是在，

  • BatchNorm是在batch上，对NHW做归一化，对小batchsize效果不好；
  • LayerNorm在通道方向上࿰
最低0.47元/天 解锁文章
傅里叶不积分1
关注
专栏目录
深入理解NLP中LayerNorm的原理以及LN的代码详解
捡起一束光的博客
12-11 4万+
在NLP中，大多数情况下大家都是用LN（LayerNorm）而不是BN（BatchNorm）。最直接的原因是BN在NLP中效果很差，所以一般不用。LN是把**normalized_shape这几个轴的元素**都放在一起，取平均值和方差的，然后对每个元素进行归一化，最后再乘以对应的$\gamma$和$\beta$（**每个元素不同**）。**LN共有N1*N2个mean和var**（假设输入数据的维度为(N1,N2,normalized_shape），normalized_shape表示多个维度）......
Batch Normalization（批量归一化）和 Layer Normalization（层归一化）
weixin_42046845的博客
03-21 1061
Batch Normalization（批量归一化）和 Layer Normalization（层归一化）都是深度学习中用于改善网络训练过程的归一化技术。尽管它们的目标相似，即通过规范化中间层的激活值来加速训练过程并提高性能，但它们在细节上有所不同。
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
热门推荐
I am what i am
07-13 12万+
本篇博客总结几种归一化办法，并给出相应计算公式和代码。 1、综述 1.1 论文链接 1、Batch Normalization https://arxiv.org/pdf/1502.03167.pdf 2、Layer Normalizaiton https://arxiv.org/pdf/1607.06450v1.pdf 3、Instance Normalization h...
优化方法总结 Batch Normalization、Layer Normalization、Instance Normalization 及 Group Normalization
时间虚掷的孤岛
06-03 3600
目录 从 Mini-Batch SGD 说起 Normalization 到底是在做什么 Batch Normalization 如何做 3.1 前向神经网络中的 BN 3.2 CNN 网络中的 BN 3.3 Batch Norm 的四大罪状 局限 1：如果 Batch Size 太小，则 BN 效果明显下降。 局限 2：对于有些像素级图片生成任务来说，BN 效果不佳； 局限 3...
Batch Normalization和Layer Normalization
guohui_0907的博客
07-30 664
1 对比 BN是在batch上，对N、H、W做归一化，而保留通道 C 的维度。BN对较小的batch size效果不好。BN适用于固定深度的前向神经网络，如CNN，不适用于RNN LN在通道方向上，对C、H、W归一化，主要对RNN效果明显；        如果把特征图[公式]比喻成一摞书，这摞书总共有 N 本，每本有 C 页...
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现;运行无误，示例为mnist手写体识别
深度学习-各种归一化(Batch Norm、Layer Norm、Group Norm、InstanceNorm、Spatially-Adaptive Norm）
ssshyeong的博客
03-30 7495
数据的归一化操作是数据处理的一项基础性工作，本文主要介绍了现有的四种归一化方法，包括Batch Normalization、Layer Normalization、Group Normalization、InstanceNorm以及近期在图像翻译领域遇到的Spatially-Adaptive Normalization
BatchNorm和LayerNorm
qq_34467412的博客
03-17 1万+
一、BatchNorm 论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 从论文名字就可以看出，BatchNorm技术是用来加速网络训练的，手段就是通过“Reducing Internal Covariate Shift（减小内部协变量偏移）”，什么叫做...
归一化那些事儿——BatchNorm、 LayerNorm、 InstanceNorm、 GroupNorm、Weight Normalization
qq_40940771的博客
08-30 287
假设数据形状是NCHW(以cv图片为准，语音或时序数据则将HW记为H‘)。归一化的原因：深度神经网络难训练一个重要的原因就是深度神经网络涉及很多层的叠加，每一层的参数变化都会导致下一层输入数据分布的变化，随着层数的增加，高层输入数据分布变化会非常剧烈，这就使得高层需要不断适应低层的参数更新。因此，一个直接的想法是固定fix神经元的加权输入分布，将该分布的均值和方差框定在某一个范围中。norm结果可视化：立方体shape为(N, H, W, C)的像素点，N为batch size轴，C为通道轴。
BatchNormalization & LayerNormalization
orangerfun的博客
05-19 912
1. 概述 机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。 那BatchNorm的作用是什么呢？BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布 深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢，很多论文都是解决这个问题的，比如ReLU激活函数，再比如Residual Network（残差网络），BN本质上也是解释并从某个不同的角度来解决这个问题的。
Batch Norm 与 Layer Norm
weixin_40994552的博客
12-16 1004
Batch Normalization 对每个特征计算均值和方差，随后归一化。 Layer Normalization 对每个样本计算均值和方差，随后归一化。
batch normalization - layer normalization - instance normalization - group normalization
既然选择了远方 便只顾风雨兼程 - 永强
06-14 789
batch normalization - layer normalization - instance normalization - group normalization feature normalization (batch normalization - layer normalization - instance normalization - group normalization) 1. 4D tensor (N×C×H×WN \times C \times H \times WN×C×H
一文读懂Batch_Normalization和Layer_normalization
wm199的博客
04-01 2287
文章使用简单的例子直接可通过手动计算理解batch_normalization和layer_normalization的计算方式
PyTorch学习之归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm）
mingo_敏
12-18 11万+
BN，LN，IN，GN从学术化上解释差异： BatchNorm：batch方向做归一化，算NHW的均值 LayerNorm：channel方向做归一化，算CHW的均值 InstanceNorm：一个channel内做归一化，算H*W的均值 GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G)HW的均值 ...
关于batch normalization和layer normalization的理解
木东的博客
10-28 1万+
目录 一、batch normalization和layer normalization的动机 二、BN和LN的框架原理 2.1BN和LN的具体操作原理 2.2BN和LN的优点和不足 2.3BN和LN的不同 2.4BN和LN的实例代码展示 三、Bert、Transformer中为何使用的是LN而很少使用BN 3.1第一个解释 3.2第二个解释 在深度学习中经常看到batch normalization的使用，在Bert模型里面经常看到layer normalization...
各种归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm、Weight Standardization）及其Pytorch实现
David's Tweet
06-05 1万+
BN，LN，IN，GN从学术化上解释差异：BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布LayerNorm：channel方向做归一化，算CHW的均值，主要对RNN作用明显；InstanceNorm：一个channel内做归一化，算H*W的均值，用在风格化迁移；因为在图像风格化中，生成结果主要依赖.
BatchNorm和LayerNorm——通俗易懂的理解
WSLGN的博客
03-08 3万+
以通俗易懂的方式解释了BatchNorm和LayerNorm的原理，并指出它们的区别
详解常用的Batch Norm、Group Norm，Layer norm、Instance Norm
lovep1的博客
03-15 1万+
本文主要分析各种norm化方法，包括batch norm， group norm， instance norm，等，用的最多的肯定是batch norm，后续凯明何大佬又提出了gropu norm，但是其实在cv里面还没有真正的普及，尤其是在工业界部署上面，用的最多的还是batch norm，尤其是前两年大量paper提出基于BN层的模型剪枝方法、基于BN的融合卷积计算方法等（本文不提及，后续文章有需要会单独分析此类论文）后，batch-norm凸显的更加重要了，本文将不按照论文结构解析。 1、batch
batchnorm1d能直接改成layernorm吗
最新发布
09-08
Batch Normalization (BN) 和 Layer Normalization (LN) 都是用来加速深度学习网络收敛并提高模型稳定性的一种技术，它们的作用类似，都是归一化输入特征。然而，两者是有区别的： 1. **作用范围**：BatchNorm 是对整个 mini-batch 的数据进行归一化，而 LayerNorm 是对每一个通道（即特征维度）的数据独立地进行归一化。 2. **应用场景**：BatchNorm 更适合于训练阶段，因为它依赖于批处理大小；而在微调或无监督设置中，LayerNorm 可能更有优势，因为它不需要批信息。 如果你想将 BatchNorm 转换成 LayerNorm，在某些层（如全连接层或卷积层之后）可以直接替换。如果你使用的是深度学习框架，比如 PyTorch，可以将 `nn.BatchNorm1d` 替换为 `nn.LayerNorm`。 ```python import torch.nn as nn # 原来的 BatchNorm1D 层 bn_layer = nn.BatchNorm1d(num_features) # 替换成 LayerNorm ln_layer = nn.LayerNorm(normalized_shape=bn_layer.num_features) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值