归一化那些事儿——BatchNorm、 LayerNorm、 InstanceNorm、 GroupNorm、Weight Normalization

最新推荐文章于 2023-12-19 13:58:17 发布
最新推荐文章于 2023-12-19 13:58:17 发布
阅读量265 收藏 2
点赞数 1
文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40940771/article/details/132584367
版权
本文详细介绍了深度学习中的几种归一化技术，包括BatchNorm、LayerNorm、InstanceNorm、GroupNorm以及Switchable Normalization。归一化的主要目的是稳定神经网络的输入分布，提高训练效率和模型性能。BatchNorm在处理小批量数据时可能效果不佳，LayerNorm则适用于RNN，InstanceNorm主要用于图像风格迁移，而GroupNorm解决了BatchNorm对小批量数据的依赖问题。Switchable Normalization则是一种灵活适应不同任务的归一化方法，但训练过程较为复杂。
摘要由CSDN通过智能技术生成

假设数据形状是NCHW(以cv图片为准，语音或时序数据则将HW记为H‘)。

归一化的原因：
深度神经网络难训练一个重要的原因就是深度神经网络涉及很多层的叠加，每一层的参数变化都会导致下一层输入数据分布的变化，随着层数的增加，高层输入数据分布变化会非常剧烈，这就使得高层需要不断适应低层的参数更新。因此，一个直接的想法是固定fix神经元的加权输入分布，将该分布的均值和方差框定在某一个范围中。

基本操作 优点 缺点
BatchNorm batch方向做归一化，算NHW的均值 适用于CNN 对较小的batch size效果不好，不适用于RNN
LayerNorm channel方向做归一化，算CHW的均值 适用序列模型，如：RNN 不适应输入变化很大的数据，大Batch较差
InstanceNorm 一个channel内做归一化，算H*W的均值 适用图像风格迁移 不适应通道之间的相关性较强数据
GroupNorm 将channel方向分group，然后每个group内做归一化，算(C//G)HW的均值 不同Batch Size下具有较大的稳定性 在大Batch 下性能略差于BN
Switchable Normalization 将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层应该使用什么方法 集BN、IN、LN优点于一身 训练复杂
Positional Normalization 位置归一化算法来计算生成网络沿信道维数的统计量 在生成网络中表现较好 不适应视觉任务
Batch Group Normalization 解决Batch Size退化和饱和的问题

norm结果

最低0.47元/天 解锁文章
Kiki酱。
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
深入理解NLP中LayerNorm的原理以及LN的代码详解
捡起一束光的博客
12-11 4万+
在NLP中，大多数情况下大家都是用LN（LayerNorm）而不是BN（BatchNorm）。最直接的原因是BN在NLP中效果很差，所以一般不用。LN是把**normalized_shape这几个轴的元素**都放在一起，取平均值和方差的，然后对每个元素进行归一化，最后再乘以对应的$\gamma$和$\beta$（**每个元素不同**）。**LN共有N1*N2个mean和var**（假设输入数据的维度为(N1,N2,normalized_shape），normalized_shape表示多个维度）......
PyTorch笔记 - Weight Normalization 权重归一化
Mystra
03-23 3509
深度神经网络的权重归一化（Weight Normalization，简称WN）是一种优化技术，它可以加速训练过程并提高模型的泛化能力。此外，权重归一化还可以改善网络的初始化和正则化，因为它可以降低权重矩阵的条件数，并且可以与批次归一化或dropout等技术结合使用。权重归一化将连接权重向量w在其欧氏范数和其方向上解耦成了参数向量v和参数标量g，即w = g * v / ||v||，其中||v||表示v的欧氏范数。这样，原来对w的优化就转化为对g和v的优化，而g和v分别控制了w的长度和方向。
LayerNorm层归一化
Kelly_Ai_Bai的博客
12-19 9038
LayerNorm层归一化
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
云中寻雾的博客
09-14 428
本篇博客总结几种归一化办法，并给出相应计算公式和代码。 1、综述 1.1 论文链接 1、Batch Normalization https://arxiv.org/pdf/1502.03167.pdf 2、Layer Normalizaiton https://arxiv.org/pdf/1607.06450v1.pdf 3、Instance Normalization https://arxiv.org/pdf/1607.08022.pdf https://github.com/Dmit
深度学习-各种归一化(Batch Norm、Layer Norm、Group Norm、InstanceNorm、Spatially-Adaptive Norm）
ssshyeong的博客
03-30 7320
数据的归一化操作是数据处理的一项基础性工作，本文主要介绍了现有的四种归一化方法，包括Batch Normalization、Layer Normalization、Group Normalization、InstanceNorm以及近期在图像翻译领域遇到的Spatially-Adaptive Normalization
归一化--bn/ln
bigtailhao的博客
10-10 213
下面这张图算是我见过讲归一化最清楚的图了 稍微补充一点2D,3D的BN 3D卷积输入[N,C,I,H,W]，BN对N,IHW维度 2D卷积输入[N,C,H,W]，BN对N,HW维度 对图片的初始化我理解也类似一个BN（少了第四步-弥补信息），也是对channel维度 imagenet的 RGB模式 std标准差：[0.229, 0.224, 0.225] mean均值：[0.485, 0.456, 0.406] https://blog.csdn.net/u0128
normalize归一化函数参数解释
weixin_42600407的博客
01-17 758
归一化函数的常用参数有两个：norm (范数) 和 axis (轴)。 norm：指定归一化的方式，可以取 "l1" 或 "l2"。"l1" 表示对每一行求和，再对每一个元素除以该行的和；"l2" 表示对每一行求平方和再开根号，再对每一个元素除以该行的平方和的开根号。 axis：指定归一化的维度，可以取 0 或 1。0 表示按列归一化，1 表示按行归一化。 ...
各种Normalization：BatchNorm、LayerNorm、InstanceNorm、GroupNorm、SwitchableNorm、AttentiveNorm
qq_39382877的博客
08-08 1967
Index 前言 Normalization BatchNorm LayerNorm InstanceNorm GroupNorm SwitchableNorm AttentiveNorm 主要参考了这篇博客BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结，另外添加了Attent...
BatchNorm和LayerNorm
qq_34467412的博客
03-17 1万+
一、BatchNorm 论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 从论文名字就可以看出，BatchNorm技术是用来加速网络训练的，手段就是通过“Reducing Internal Covariate Shift（减小内部协变量偏移）”，什么叫做...
Spiking-YOLO:脉冲神经网络高效的目标检测
像风一样自由
06-10 7170
Spiking-YOLO: Spiking Neural Network for Energy-Efficient Object Detection |AAAI 2020 Spiking-YOLO:脉冲神经网络高效的目标检测AbstractIntroduction相关工作DNN-to-SNN conversion目标检测MethodsChannel-wise data-based normalizationConventional normalization methodsAnalysis of layer
PyTorch学习之归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm）
热门推荐
mingo_敏
12-18 11万+
BN，LN，IN，GN从学术化上解释差异： BatchNorm：batch方向做归一化，算NHW的均值 LayerNorm：channel方向做归一化，算CHW的均值 InstanceNorm：一个channel内做归一化，算H*W的均值 GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G)HW的均值 ...
BatchNorm和LayerNorm的区别
DataAlgo
11-22 1万+
BatchNorm： 对一个batch-size样本内的每个特征做归一化 LayerNorm： 针对每条样本，对每条样本的所有特征做归一化 简单举例： 假设现在有个二维矩阵：行代表batch-size， 列表示样本特征 BatchNorm就是对这个二维矩阵中每一列的特征做归一化，也就是竖着做归一化 LayerNorm就是对这个二维矩阵中每一行数据做归一化 相同点： 都是在深度学习中让当前层的参数稳定下来，避免梯度消失或者梯度爆炸，方便后面的继续学习 **不同点： 如果你的特征依赖不同样本的统计参数，那
对Batch Norm和对Layer Norm的理解
飞机火车巴雷特的博客
05-30 1770
batch norm和layer norm的个人理解
nn.LayerNorm 使用注意点：
chumingqian的博客
04-24 1541
那么normalized_shape可以是[3]（最后一维上进行Norm处理），否则，会报如下错误，　很容易让人误认为是cuda 的内存不足，或者其他问题；让其输入数据和layerNorm 自身的可训练的参数在同一个设备上，比如我们的数据的shape是[4, 2, 3]，
[AI算法][TensorFlow]：TensorFlow 学习笔记 - 几种 LSTM 对比
Bin_Dut的博客
08-17 627
TensorFlow 学习笔记 - 几种 LSTM 对比 tf.nn.rnn_cell.BasicLSTMCell tf.nn.static_rnn tf.nn.static_rnn tf.nn.dynamic_rnn tf.contrib.cudnn_rnn tf.contrib.rnn.LSTMBlockCell tf.contrib.rnn.LSTMBlockFusedCell tf.contrib.rnn.BasicLSTMCell variants BasicLSTMCell tf.nn.
各种归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm、Weight Standardization）及其Pytorch实现
David's Tweet
06-05 1万+
BN，LN，IN，GN从学术化上解释差异：BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布LayerNorm：channel方向做归一化，算CHW的均值，主要对RNN作用明显；InstanceNorm：一个channel内做归一化，算H*W的均值，用在风格化迁移；因为在图像风格化中，生成结果主要依赖.
Layer Normalization
AI小作坊 的博客
11-15 3万+
code : https://github.com/ryankiros/layer-norm本文主要是针对 batch normalization 存在的问题 提出了 Layer Normalization 进行改进的。这里首先来回顾一下 batch normalization ： 对于前馈神经网络第 l 隐层，神经元的输入为 a, 激活函数为 f, 激活函数输出为 h。权值 w 通过 S
归一化函数normalize
weixin_41082581的博客
05-19 2790
1、函数原型： void normalize(InputArray src,OutputArraydst, double alpha = 1, double beta = 0, intnorm_type = NORM_L2, int dtype = -1, InputArray mask = noArray() ) 参数说明: src——输入数组 dst——输出数组，支持原地运算 alpha——range normalization模式的最小值 beta ——range normalization模式的最大
layer norm 归一化实现
最新发布
06-06
Layer Normalization (LN) 是一种用于神经网络层归一化的技术，它通过对每个特征向量（通常对应于输入数据的一个通道）进行标准化来加速训练并提高模型的稳定性。以下是层归一化的简单实现步骤[^4]： 1. **计算均值...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Kiki酱。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值