4_Batch Normalization

最新推荐文章于 2024-07-04 22:10:49 发布
最新推荐文章于 2024-07-04 22:10:49 发布
阅读量114 收藏
点赞数
分类专栏： CV_Baseline 文章标签： 卷积 网络 深度学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Code_Haruka/article/details/116893088
版权

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 批标准化:缓解内部协变量偏移加快深度神经网络训练

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • Ics (Internal Covariate Shift，内部协变量偏移)
  • ICS现象:输入数据分布变化，导致的模型训练困难，对深度神经网络影响极大。

在这里插入图片描述

在这里插入图片描述

  • 白化(Whitening)
    白化:去除输入数据的冗余信息，使得数据特征之间相关性较低，所有特征具有相同方差
  • 可以将数据变为0均值，1标准差的形式，实现白化

研究成果

在这里插入图片描述

  • 提出BN层:加快模型收敛，比googlenet-v1快数十倍，获得更优结果

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GyxQ7Tfu-1621149466900)(C:\Users\User\AppData\Roaming\Typora\typora-user-images\image-20210428212410695.png)]

  • BN优点︰
    • 1.可以用更大学习率，加速模型收敛
    • 2.可以不用精心设计权值初始化
    • 3.可以不用dropout或较小的dropout
    • 4.可以不用L2或者较小的weight decay
    • 5.可以不用LRN(local response normalization)

研究意义

在这里插入图片描述

  • 研究意义
    • 加快了深度学习的发展
    • 开启神经网络设计新时代，标准化层已经成为深度神经网络标配
    • 在Batch Normalization基础上拓展出了一系例标准化网络层，如Layer Normalization (LN)，lnstance Normalization (lN), Group Normalization (GN)

在这里插入图片描述

  • 所有的标准化都要执行上图，所不同的是对于均值和方差的求取方式

在这里插入图片描述

在这里插入图片描述

Batch Normalization:批标准化

  • 批:一批数据，通常为mini-batch

  • 标准化:使得分布为mean=0,std=1

在这里插入图片描述

在这里插入图片描述

  • 存在问题:
    使神经元输出值在sigmoid线性区削弱了网络的表达能力

  • 解决办法:

在这里插入图片描述

​ 采用可学习参数y和β，增加线性变换，提升网络表达能力，同时提供恒等映射的可能,，当

在这里插入图片描述

在这里插入图片描述

​ BN层变为恒等映射，不改变神经元输出值

在这里插入图片描述

  • step1.在mini-batch上计算均值

  • step2.在mini-batch上计算标准差

  • step3.减均值除以标准差

  • step4.线性变换，乘y加β，实现缩放与平移

  • 存在问题: mini-batch的统计信息充当总体是不准确的

  • 解决办法:采用指数滑动平均(Exponential Moving Average)

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

at :当前值
mvt︰指数滑动平均值

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

BN优点

  • 1．可采用较大学习率
    针对类似Sigmoid的饱和激活函数，加上BN层后，可采用较大学习率

  • 2．充当正则，顶替Dropout
    加入BN层后，将当前样本与以前样本通过统计信息联系起来，相当于某种约束，经实验表明可减轻Dropout的使用

  • BN注意事项

    • 1．BN层前一层不需要加偏置（bias），该偏置可被BN层中的Shift (Beta）给抵消
    • 2．卷积网络时，是针对特征图为单位进行BN层，即使2D的BN操作

GoogLeNetV2结构

在这里插入图片描述

在这里插入图片描述

  • 对V1的改进:
    • 1．激活函数前加入BN
    • 2.5 * 5卷积替换为2个3 * 3卷积
    • 3．第一个Inception模块增加一个Inception结构
    • 4.增多原“5 * 5”部分的卷积核个数
    • 5.尺寸变化采用stride=2的卷积()
    • 6．增加9层网络(10-1层)到31层(10表示inception数量)

实验结果

在这里插入图片描述

  • MNIST实验
    1．观察收敛速度
    2．观察MLP网络最后一层输出值分布

  • 结果:
    1.加入BN层之后，收敛速度更快
    2．加入BN层之后，输出值更稳定，缓解ICS问题

在这里插入图片描述

在这里插入图片描述

  • ILSVRC分类实验一:速度对比
    参数设置:初始学习率=0.0015
    x5:表示学习率 =0.0015*5 = 0.0075
    • 1．加BN更快:BN-Baseline比Inception快一倍
    • 2可用大学习率:BN-x5 比 Inception 快14倍
    • 3．加BN精度更高:BN-x30比x5慢，但精度更高
    • 4.Sigmoid时，加BN精度更高:BN-x5-Sigmoid虽精度最低,比Inception-Sigmoind高很多

在这里插入图片描述

  • lLSVRC分类实验二:模型集成，超越人类
    六个BN-x30集成，六个BN-x30不同之处:
    • 1.增大权重初始化的值，即分布的标准差变大
      1. dropout设为5%或10%，GoogLeNet-V1是40%

总结

在这里插入图片描述

Code_Haruka
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
BatchNormalization 代码实现
elaine_bao的专栏
03-18 8461
BatchNormalization是神经网络中常用的参数初始化的方法。其算法流程图如下... 我们可以把这个流程图以门电路的形式展开，方便进行前向传播和后向传播...
Batch Normalization
xueliang
06-04 555
神经网络BN操作总结整理
Batch Normalization代码分解
10-08 511
batch normalization
深度学习——Batch Normalization
CodeTutor
06-22 611
参考[1] Batch Normalization : Accelerating Deep Network Training by Reducing Internal Covariate Shift. Sergey Ioffe, Christian Szegedy. 2015. [2] 博客：Batch Normalization导读，张俊林
【标准化方法】(1) Batch Normalization 原理解析、代码复现，附Pytorch完整代码
博观而约取，厚积而薄发
05-08 2645
神经网络层数的增加会增加模型计算负担，同时也会导致模型变得难以训练。随着网络层数的增加，数据的分布方式也会随着层与层之间的变化而变化，这种现象被称为内部协变量偏移 ICS。通常解决 ICS 问题的方法是使用较小的学习率，后来为更好的解决该问题，Sergey等提出批处理标准化算法（Batch Normalization）
李沐动手学深度学习V2-Batch Normalization批量规范化内容和代码从零实现
flyingluohaipeng的博客
05-04 1441
1.Batch Normalization 批量规范化 1.1 介绍 训练深层神经网络是十分困难的，特别是在较短的时间内使他们收敛更加棘手。 批量规范化（batch normalization）是一种流行且有效的技术，可持续加速深层网络的收敛速度。 再结合后面的残差块，批量规范化使得研究人员能够训练100层以上的网络。 1.2 为什么需要批量规范化层呢？ 首先，数据预处理的方式通常会对最终结果产生巨大影响。 回想一下我们应用多层感知机来预测房价的例子。 使用真实数据时，我们的第一步是标准化输入特征，使其平
deeplearning-master_Rlanguage_BatchNormalization_batch_
10-04
这个项目“deeplearning-master_Rlanguage_BatchNormalization_batch_”显然是用R语言实现了一个ReLU类型的深度神经网络，并采用了批量归一化（Batch Normalization）策略。以下是对这个主题的详细讲解： 1. **...
conditional_batch_normalization:有条件批处理规范化Pytorch的实现
05-18
conditional_batch_normalization 有条件批处理规范化Pytorch的实现 这是在[1]和[2]中引入的有条件批处理归一化，并在[3]中成功地应用于有条件的图像生成。 [1] Dumoulin，Vincent，Jonathon Shlens和Manjunath ...
TensorFlow实现Batch Normalization
09-20
**TensorFlow实现Batch Normalization详解** Batch Normalization（简称BN）是一种在深度学习中用于加速训练和提升模型泛化能力的技术。它通过归一化每一层的激活值，确保网络在训练过程中能保持稳定的数据分布，...
解读Batch Normalization
shuzfan的专栏
02-23 3万+
目录 目录 1-Motivation 2-Normalization via Mini-Batch Statistics 测试 BN before or after Activation 3-Experiments本次所讲的内容为Batch Normalization，简称BN，来源于《Batch Normalization: Accelerating Deep Network Training b
Batch Normalization （理论+代码）
qq_36620489的博客
12-18 776
Batch Normalization  学习笔记 原文地址：http://blog.csdn.net/hjimce/article/details/50866313 作者：hjimce
关于Batch Normalization（批标准化）的理解与代码实现
学渣的博客
07-23 2727
今天看了《深度学习》中关于批标准化的小节，一开始感觉有些困惑，后来搜集了资料后也有了自己的理解，总结如下。 概念问题 我认为要理解批标准化首先要理解标准化概念。 那么，什么是标准化？ 通过中心化或标准化处理，得到均值为0，标准差为1的服从标准正态分布的数据。 事实证明，一个神经网络接收一张白化（令像素点标准化）过后的图片作为输入数据，那么其收敛速度较快。那么将此实例延申，放入神经网络所有结构...
【深度学习】批归一化（Batch Normalization）
vict_wang的博客
03-02 4万+
来源：https://www.cnblogs.com/skyfsm/p/8453498.html https://blog.csdn.net/bingo_csdn_/article/details/79393354 文章目录一、简介二、BN作用1.特征分布对神经网络训练的作用2.BN的作用三、BN的原理四、BN到底解决了什么五、预测时均值和方差怎么求？六、卷积神经网络CNN中的BN 一、简介 BN...
batch normalization 详解
gbyy42299的博客
05-18 4491
Batch Normalization是2015年Google研究员在论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》一文中提出的，同时也将BN应用到了2014年的GoogLeNet上，也就是Inception-v2。 BN算法在很大程度上加速了训练过程，...
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
热门推荐
I am what i am
07-13 12万+
本篇博客总结几种归一化办法，并给出相应计算公式和代码。 1、综述 1.1 论文链接 1、Batch Normalization https://arxiv.org/pdf/1502.03167.pdf 2、Layer Normalizaiton https://arxiv.org/pdf/1607.06450v1.pdf 3、Instance Normalization h...
Bn层之前的卷积层不需要加偏执
qq_33228039的博客
10-15 334
卷积层y=w*x+b 可以看到归一化的时候偏执自动减去了，所以加上也没用。
【深度之眼】Pytorch框架班第五期-Week6【任务2】第一节：Batch Normalization
Zero_run的博客
08-28 130
Batch Normalization概念 批标准化 批：一批数据，通常为mini-batch 标准化：0均值，1方差 优点： 1、可以用更大的学习率，加速模型的收敛 2、可以不用精心设计权值初始化 3、可以不用dropout或者较小的dropout 4、可以不用L2或者较小的weight decay 5、可以不用LRN(local response normalization) 计算方式 affine transform 增强Capacity(容纳能力) 内部协变量转移 _BatchNorm __
Iperf基本用法
最新发布
peterhunter0320的博客
07-04 321
Iperf支持TCP和UDP协议，可以用于点对点或客户端-服务器等模式的网络测试。在Windows系统中，您可以下载Iperf的预编译版本，并将其解压到任意文件夹中。以上是Iperf的一些基本用法，您可以根据实际需要调整各种参数来满足不同的测试需求。更多详细的使用方法和参数，您可以通过运行iperf3 -h命令来查看帮助文档。在Linux系统中，您可以使用包管理器安装Iperf。Iperf的使用非常灵活，可以通过命令行参数来调整测试的各种参数。iperf3 -c <服务器IP地址> -u -b 10M。
batch_normalization
03-16
批量归一化（batch normalization）是一种用于加速深度神经网络训练的技术。它通过对每一层的输入进行归一化，使得每一层的输入分布更加稳定，从而加速网络的收敛速度，提高网络的泛化能力。批量归一化已经成为深度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值