Batch Normalization详解

已于 2023-04-13 00:31:53 修改
阅读量1.4k 收藏 11
点赞数 4
分类专栏： 深度学习算法与框架 文章标签： batch 深度学习 机器学习
于 2023-04-13 00:28:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daydayup858/article/details/130119859
版权

目录

1. Batch Normalization的基本思想

2. BN层的作用 

3. 训练阶段和测试阶段的BN层

4. BN、LN、IN、GN与SN

1. Batch Normalization的基本思想

BN解决的问题：深度神经网络随着网络深度加深，训练越困难，收敛越来越慢

问题出现的原因：深度神经网络涉及到很多层的叠加，而每一层的参数更新会导致上层的输入数据分布发生变化，通过层层叠加，高层的输入分布变化会非常剧烈，这就使得高层需要不断去重新适应底层的参数更新——BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布

BN的基本思想：

  • 训练过程中整体分布逐渐往非线性函数的取值区间的上下限两端靠近，导致反向传播时低层神经网络的梯度消失，训练收敛慢
  • BN把每层神经网络任意神经元输出的分布强行拉回到均值为0方差为1的标准正态分布，使得激活输入值落在非线性函数对输入比较敏感的区域，可以得到比较大的梯度，避免梯度消失，梯度变大意味着学习收敛速度快，能大大加快训练速度

2. BN层的作用 

  • 加快网络的训练和收敛的速度
    • 深度神经网络中，每层的数据分布不一样会导致网络非常难收敛和训练，BN将每层数据分布转化为一致的标准正态分布，更容易收敛
  • 控制梯度爆炸，防止梯度消失
    • 梯度消失：深度神经网络中，如果网络的激活输出很大，其对应梯度会很小，甚至梯度消失，导致网络的学习速率慢，使用BN层归一化后，网络的输出不会很大，梯度就不会很小
    • 梯度爆炸：第一层偏移量的梯度=激活层斜率1x权值1x激活层斜率2x…激活层斜率(n-1)x权值(n-1)x激活层斜率n，假如激活层斜率均为最大值0.25，所有层的权值为100，这样梯度就会指数增加，但使用BN层后权值的更新也不会很大
  • 防止过拟合
    • 在网络的训练中，BN的使用使得一个minibatch中所有样本都被关联在一起，因此网络不会从某一个训练样本中生成确定的结果，即同样一个样本的输出不再仅仅取决于样本的本身，也取决于跟这个样本同属一个batch的其他样本，而每次网络都是随机取batch，这样就会使得整个网络不会朝这一个方向使劲学习，一定程度上避免了过拟合
  • Allows higher learning rates, faster convergence and networks become more robust to initialization -- Fei-Fei Li

注意⚠️：为什么BN层一般用在线性层和卷积层后面，而不是放在非线性单元后？

  • 非线性单元的输出分布形状会在训练过程中变化，归一化无法消除它的方差偏移，相反的，全连接和卷积层的输出一般是一个对称、非稀疏的分布，更加类似高斯分布，对它们进行归一化会产生更加稳定的分布
  • 例如Relu激活函数，输入的数据是一个高斯分布，变换后数据小于0的被抑制了（分布小于0的部分直接变成0）

3. 训练阶段和测试阶段的BN层

训练阶段：

  • 例如batchsize为32，某层的某个神经元会输出32个响应值
  • 对这32个响应求均值和标准差，再做归一化
  • 归一化的响应值乘以γ，加上β
  • 每个神经元都训练一组γ、β

测试阶段：

  • 测试阶段均值、方差、γ、β都用训练阶段全局求出

  • 在测试阶段Batch Normalization相当于做线性变换

注意⚠️：Dropout和BN都有防止过拟合的作用，单独使用，都带来一定的性能改进，为什么一起用反而性能下降？

原因：

  1. 当网络的状态从训练转移到测试时，Dropout转移了特定神经单元的方差。但是，在测试阶段，BN保持了它的统计方差，这是在整个学习过程中积累的。Dropout和BN中方差的不一致性(“方差偏移”)，导致推断中不稳定的数值行为，最终导致错误的预测
  2. 如下图，Dropout在训练阶段以p的概率进行失活，而在测试阶段，对每个神经元进行尺度放缩(乘p)。另一种等价的表现形式，在训练阶段乘1/p，而测试阶段不需要做任何改动，所以，训练：X=a*(1/p)*X，测试：X=X，存在方差偏移

解决方案：总体思路是降低方差偏移

  1. 在所有BN层后使用Dropout
  2. 修改Dropout公式（如使用高斯Dropout）使得它对方差不是那么敏感

4. BN、LN、IN、GN与SN

BN、LN、IN和GN这四个归一化的计算流程几乎一样，输入的图像shape记为[N, C, H, W]，区别在于：

BatchNorm：在batch上，对NHW做归一化，把每个通道的NHW单独拿出来归一化处理，针对每个channel都有一组γ,β，可学习的参数为2*C，当batch size越小，BN的表现效果也越不好，因为计算过程中所得到的均值和方差不能代表全局

LayerNorm：在通道方向上，对CHW归一化，把每个CHW单独拿出来归一化处理，不受batchsize 的影响，主要对RNN作用明显，常用在RNN网络，但如果输入的特征区别很大，那么就不建议使用它做归一化处理

InstanceNorm：在图像像素上，对HW做归一化，把每个HW单独拿出来归一化处理，不受通道和batchsize 的影响，常用在风格化迁移，但如果特征图可以用到通道之间的相关性，那么就不建议使用它做归一化处理

GroupNorm：将channel分组再做归一化，把先把通道C分成G组，然后把每个gHW单独拿出来归一化处理，最后把G组归一化之后的数据合并成CHW，GN介于LN和IN之间，LN（G=C）和IN（G=1）是GN的特例

SwitchableNorm：将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层应该使用什么方法，集万千宠爱于一身，但训练复杂 

香菜烤面包
关注
  • 4
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Batch Normalization详解（原理+实验分析）
macan的博客
02-10 1万+
Batch Normalization详解（原理+实验分析）1. 计算过程2. 前向传播过程3. 反向传播过程4. 实验分析4.1 实验一：验证有没有BatchNorm下准确率的区别4.2 实验二：验证有没有BatchNorm+noisy下准确率的区别4.3 实验三：验证有没有BatchNorm+noisy下准确率的区别4.4 实验小结5. BatchNorm的其他细节5.1 训练和推理阶段时参数的初始化问题5.2 BatchNorm在哪个位置最好？5.3 在训练时为什么不直接使用整个训练集的均值/方差？5
深入浅出——深度学习中的Batch Normalization使用
dulingtingzi的博客
05-11 3303
原文地址：http://blog.csdn.net/hjimce/article/details/50866313转载自：https://blog.csdn.net/u010402786/article/details/51233854（因为感觉这个作者的排版比较好看）关于归一化部分的理解参考资料：神经网络之家 www.nnetinfo.com http://www.nnetinfo.com/nn...
批标准化（batch normalization）的原理及其在训练、测试（验证）阶段下的行为
最新发布
chenconggan0499的博客
06-17 1575
批标准化的原理、实现方式、在训练和测试（验证）阶段的不同行为及可能出现的问题。
Batch Normalization（批标准化）的原理和意义及对模型的重要影响
weixin_43918046的博客
08-15 1843
一、什么是Batch Normalization（批标准化）？ 因为我们正常的训练神经网络，为了提高速度，当然也因为很多时候数据量很庞大没法一次性全部读入，我们会把数据分批次读入模型训练，批标准化就是针对每批数据训练后，对网络每层神经元的输出做标准化处理（将很离散的数据映射到0-1之间），这只是一个很简单的操作，但是我为啥要单独拎出来说呢，因为这个批标准化对模型的影响实在太大太大。 上周我正开开心心的搭建一个CNN模型跑图像识别，模型没问题，数据正常读取，然后…模型发散了！！！是的，不是过拟合或欠拟合，就是
深度学习入门之Batch Normalization
weixin_46713695的博客
03-04 1123
Batch Normalization 的算法 Batch Normalization（下文简称 Batch Norm）是 2015 年提出的方法。Batch Norm 虽然是一个问世不久的新方法，但已经被很多研究人员和技术人员广泛使用。实际上，看一下机器学习竞赛的结果，就会发现很多通过使用这个方法而获得优异结果的例子。 为什么 Batch Norm 这么惹人注目呢？因为 Batch Norm 有以下优点。 可以使学习快速进行（可以增大学习率）。 不那么依赖初始值（对于初始值不用那么神经质）。 抑
Batch Normalization必知必会
IT荻的博客
11-18 877
转自：https://blog.csdn.net/hjimce/article/details/50866313 一、背景意义 本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经...
神经网络训练细节之batch normalization
qq_22625309的博客
06-28 3292
在对神经网络进行训练的时候，经常涉及到的一个概念就是batch normalization，那么究竟什么是batch normalization，以及为什么在训练的时候要加入batch normalization呢？以下就是我的一些学习心得。 1、提出batch normalization的原因       （1） 我们在对某个神经网络训练完成之后，需要测试该网络，那么如果我们的训练集数据与测
TensorFlow实现Batch Normalization
09-20
**TensorFlow实现Batch Normalization详解** Batch Normalization（简称BN）是一种在深度学习中用于加速训练和提升模型泛化能力的技术。它通过归一化每一层的激活值，确保网络在训练过程中能保持稳定的数据分布，...
pytorch的batch normalize使用详解
09-18
今天小编就为大家分享一篇pytorch的batch normalize使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Yolov5代码详解.zip
03-10
- **批归一化层（Batch Normalization）**：加速训练并提高模型稳定性。 - ** Weight Decay **：权重衰减，防止过拟合。 ### 4. YOLOv5预测流程 在推理阶段，YOLOv5会根据输入图像的大小动态调整网格布局，然后对...
详解深度学习系统的训练技巧-综合文档
05-22
批量归一化（Batch Normalization）可以加速训练，提高模型的稳定性和收敛速度。它通过对每一层的输入进行标准化，使内部协变量位移最小，从而减少内部协变量偏移问题。 模型集成也是一种提高预测性能的方法，如...
YOLO开发教程详解.zip
06-03
早期版本的YOLO如YOLOv1使用了一个单一的神经网络架构，而后续的改进版如YOLOv2和YOLOv3则引入了更多的技术，比如残差网络（ResNet）、批量归一化（Batch Normalization）和特征金字塔网络（Feature Pyramid Network...
Batch Normalization的测试或推理过程及样本参数更新方法
BrightLamp的博客
12-30 2440
摘要 本文探讨 Batch Normalization 在测试或推断时使用的算法及其原理. 相关 配套代码, 请参考文章 : Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法. 系列文章索引 : https://blog.csdn.net/oBrightLamp/article/details/85067981 正文 Batch N...
Batch Normalization
devil_son1234的博客
09-21 111
Batch Normalization原理： 概念的引入： Internal Covariate Shift ： 其主要描述的是：训练深度网络的时候经常发生训练困难的问题，因为，每一次参数迭代更新后，上一层网络的输出数据经过这一层网络计算后，数据的分布会发生变化，为下一层网络的学习带来困难（神经网络本来就是要学习数据的分布，要是分布一直在变，学习就很难了），此现象称之为InternalInternal Covariate Shift。 Covariate Shift： ...
Batch Normalization 算法训练和推断过程
weixin_30414245的博客
04-24 1576
Batch Normalization就是批归一化，在神经网络的layer未激活输出之前加一道Batch Normalization的工序，以下简称BN。关于BN的原理介绍，网上有很多资料，也可以参考这篇https://www.cnblogs.com/huwj/p/10759532.html，在这里仅仅列出BN的训练和推断过程。 一、BN的训练(train)过程 BN的...
Batch Normalization解读
谦而不卑
05-20 2207
介绍每一层的输入被之前所有层的参数影响着，所以当网络中的参数有一个很小的变化时，这个变化会随着网络的加深而变大。covrate shift 令q1（x）表示对预测表现进行评价时，x的密度。令q0（x）表示观测数据x的密度。当q1（x）不等于q0（x）就叫做covrate shift。covrate shift 是怎么产生的呢，因为q0（x）是由采样方式决定的，q1（x）是由总体决定的，在回归分析中...
深度学习中的Batch Normalization
热门推荐
whitesilence的博客
07-21 5万+
在看 ladder network(https://arxiv.org/pdf/1507.02672v2.pdf) 时初次遇到batch normalization（BN）. 文中说BN能加速收敛等好处，但是并不理解，然后就在网上搜了些关于BN的资料。看了知乎上关于深度学习中 Batch Normalization为什么效果好？ 和CSDN上一个关于Batch Normalization 的学习笔记
【深度学习】批归一化（Batch Normalization）
vict_wang的博客
03-02 4万+
来源：https://www.cnblogs.com/skyfsm/p/8453498.html https://blog.csdn.net/bingo_csdn_/article/details/79393354 文章目录一、简介二、BN作用1.特征分布对神经网络训练的作用2.BN的作用三、BN的原理四、BN到底解决了什么五、预测时均值和方差怎么求？六、卷积神经网络CNN中的BN 一、简介 BN...
batch normalization详解
08-23
### 回答1： Batch normalization 是一种在深度学习中常用的规范化技术，它能够提高模型的收敛速度和降低过拟合的风险。具体来说，batch normalization 通过计算每一层输入数据的均值和标准差，并将其用来调整每一个输入数据，使得它们的分布更加稳定。这样做能够帮助模型更好地学习数据，并且也能减少对具体的初始化方式的敏感度。 ### 回答2： Batch Normalization (批标准化) 是一种用于提高神经网络训练效果的正则化方法。它在每个小批量的数据中对每个神经元的输入进行标准化处理，以使得其均值接近0和方差接近1。这样做可以缓解梯度消失和梯度爆炸问题，加快网络的训练速度，同时还可以提高网络的泛化能力。 Batch Normalization 的主要原理是对每个小批量的数据进行标准化处理。对于一层网络的输入，首先计算其均值和方差，然后将数据减去均值并除以方差，得到标准化后的数据。然后再乘以一个可学习的缩放因子γ，再加上一个可学习的偏移项β，以便网络可以根据具体任务来调整数据的均值和方差。 Batch Normalization 的优点有几个方面。首先，它可以减少网络对初始权重的敏感度。由于对每个小批量的数据进行标准化处理，使得每个神经元的输入分布更加稳定，从而减少了对初始权重的依赖。其次，它可以缓解梯度消失和梯度爆炸问题。标准化后的数据分布更接近于高斯分布，使得网络中激活函数的输入更加均匀，从而减少了梯度的变化范围。此外，Batch Normalization 还具有一定的正则化效果，可以减少网络过拟合的现象。 然而，Batch Normalization 也有一些限制。首先，它增加了网络的计算开销。由于每个小批量的数据都需要进行标准化处理，因此会增加一定的计算量。其次，由于标准化过程中引入了可学习的参数γ和β，可能会导致网络的表达能力受到一定程度的限制。此外，Batch Normalization 对网络的输入数据要求较高，如果输入数据过小或过大，可能会导致标准化处理失效。 总之，Batch Normalization 是一种有效的正则化方法，可以用于改善神经网络的训练效果。它通过标准化处理每个小批量的数据，提高网络的训练速度和泛化能力，同时减少了梯度消失和梯度爆炸问题的发生。然而，它也存在一些限制，需要根据具体任务和数据来选择是否使用。 ### 回答3： Batch Normalization（批标准化）是一种广泛在深度学习中应用的技术，旨在加快神经网络的训练过程并提高模型的收敛速度和泛化能力。 在深度神经网络中，输入的分布不稳定会对网络的训练产生不利影响。而Batch Normalization通过对每一层的输入进行标准化处理，将输入的均值调整为0，标准差调整为1，从而解决了输入分布不稳定的问题。 具体来说，Batch Normalization的操作分为两步：均值归一化和方差归一化。在每个mini-batch的数据中，首先对其进行均值归一化，即减去该mini-batch的均值；然后对减去均值后的数据进行方差归一化，即除以该mini-batch的标准差。最后，通过学习参数进行线性变换和非线性变换，使得网络可以自己去学习数据的分布。 Batch Normalization有几个重要的优点。首先，它可以使得模型对于初始参数的选择不再那么敏感，能够减少训练时间和梯度消失问题。其次，通过对数据进行标准化处理，可以抑制神经网络层之间的协变量漂移，使得网络更加稳定。此外，Batch Normalization还可以减少对正则化（如Dropout）的需求，增加模型的泛化能力。 尽管Batch Normalization有许多好处，但也存在一些限制。首先，它增加了计算的复杂性。其次，在小批量训练数据集中，由于均值和方差的计算仅基于单个mini-batch，可能会引入噪声。最后，Batch Normalization可能不适用于RNN等具有时间依赖性的神经网络。 总结而言，Batch Normalization是一种常用的深度学习技术，通过对每层的输入进行标准化处理，加速网络训练过程，提高模型的收敛速度和泛化能力。但在具体应用中需要注意一些限制和适用条件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值