深度学习的优化-Batch norm

最新推荐文章于 2023-11-28 07:19:48 发布
最新推荐文章于 2023-11-28 07:19:48 发布
阅读量371 收藏 1
点赞数 4
分类专栏： AI 文章标签： 神经网络 深度学习 算法 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45870904/article/details/114144494
版权

文章目录

Batch归一化（Batch norm)

在前面，我们学到，将输入数据归一化(数据预处理)有助于我们加速模型优化(消除量纲)
在这里插入图片描述

而现在，我们要将这种思想运用到神经网络的各个隐藏层输出中

在这里插入图片描述

上图就是应用的过程，不同的是，我们加入了参数α和β控制Z的均值和方差从而使得我们隐藏单元值的均值和方差标准化，这两个参数会随着我们的优化算法，比如Adam算法一起更新，需要加入两个参数的一个直观原因是，例如我们的激活函数是sigmoid，我们不会想要其输出的均值都位于中间的线性部分，而需要利用sigmoid函数的非线性部分，来拟合出更加强大的神经网络，同时也方便我们的训练.

在这里插入图片描述

实际上，对于深度学习框架，我们一行代码即可完成此工作😂.建议直接学习pytorch tensorflow不行了

在这里插入图片描述

上图就是应用到mini-batches的步骤

但是有几个细节值得注意：

  1. 我们原有的偏置单元b应该被删除掉，因为归一化处理会去掉它，所以没有意义，新的偏置会体现在β上
  2. β和α的维度都和Z一样是(n^[l],1)

Batch norm 实现

在这里插入图片描述

上图就是实际的实现过程，当然在实际操作中，一个简易的编程框架即可实现.

为什么Batch norm是有效的？

在这里插入图片描述

首先关注一下我们可能会遇到的问题，在实际的训练过程中，如果X的分布发生了改变，那么我们的训练可能就不会奏效于训练出一个不错的决策边界.

在这里插入图片描述

简单来说，我们需要建立一个直觉

那就是对于神经网络后层之一的角度而言，Batch归一化使得前层不会左右移动的那么多，因为它们都被同样的均值和方差限制，所以这会使得后层的学习工作变得更加容易.

一句话概括就是Batch 归一化增强了神经网络各层的独立性

Batch norm有轻微的正则化效果

在这里插入图片描述

因为mini-batch并不是全部的数据集，所以会给均值和方差的估计带来一定的噪音(noisy)，从而引起一系列的噪音，导致每个隐藏单元的行为都含有一定的噪音，从而迫使后部单元不过分依赖任何一个隐藏单元，从而导致轻微的正则化效果，其和dropout相似.

测试时的Batch norm

因为在测试的时候，往往我们需要针对一个样本进行测试，所以，原先的计算均值和方差的方法就不再适用，这时候，我们可以使用指数加权平均法来实时估计和追逐目前最新的均值和方差来方便我们的测试计算.

在这里插入图片描述

不爱写程序的程序猿
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
一文解读深度学习中的Normalization模型
迈微AI研习社 · 号主
07-23 615
BN是深度学习进展中里程碑式的工作之一，无论是希望深入了解深度学习，还是在实践中解决实际问题，BN及一系列改进Normalization工作都是绕不开的重要环节。
详解深度学习Batchnorm
陈伟的梦呓
12-25 3187
Batchnorm是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，可以说是目前深度网络必不可少的一部分。 为什么Batchnorm 机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？BatchNorm就是在深度神经网络训练过程...
深度学习之BatchNorm（批量标准化）
qq_39321513的博客
09-25 1414
对于深度学习这种包含很多隐层的网络结构，在训练过程中，因为各层参数不停在变化，所以每个隐层都会面临covariate shift的问题，也就是在训练过程中，隐层的输入分布老是变来变去，这就是所谓的“Internal Covariate Shift”，Internal指的是深层网络的隐层，是发生在网络内部的事情，而不是covariate shift问题只发生在输入层。那么这又意味着什么？，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。
深度学习中 batchnorm 层是咋回事？
weixin_30483697的博客
02-20 261
作者：Double_V_来源：CSDN原文：https://blog.csdn.net/qq_25737169/article/details/79048516版权声明：本文为博主原创文章，转载请附上博文链接！ 作者：Double_V_来源：CSDN原文：https://blog.csdn.net/qq_25737169/article/details/79048516版权声明：本文...
【深度学习神经网络】--BatchNorm详解
TU商的博客
10-25 1647
所以每个隐层都会面临 "covariance shift" 的问题 --- 这就是所谓的"Internal Covariance Shift"，Internal指的是深层网络的隐层，是发生在网络内部的事情，而不是covariance shift问题只发生在输入层。其主要描述的是训练深度网络的时候经常发生训练困难的问题。随着网络训练的进行, 每个隐层的参数变化使得后一层的输入发生变化->每批训练数据的分布也随之改变->致使网络在每次迭代中都需要拟合不同的数据分布->增大训练的复杂度以及过拟合的风险。
吴恩达深度学习课程第二课 第3周 超参数调试 和 Batch Norm（2-3 编程作业）（中、英文版本）
01-19
吴恩达老师 深度学习课程 第二课 改善深层神经网络 第3周 超参数调试 和 Batch Norm（2-3 编程作业） （有道翻译，有歧义的地方请参考原文）
基于深度学习的暂态电压稳定在线识别.pdf
08-19
本文主要探讨了基于深度学习的电力系统暂态电压稳定在线识别方法，这是一种利用深度学习技术...通过不断优化和改进，深度学习技术有望在电力系统监控和故障预测中发挥更大的作用，进一步提升电力系统的安全性和可靠性。
机器学习思维导图.pdf
11-05
为了防止过拟合，我们可以使用正则化（如L1、L2正则化）、dropout、权重初始化策略以及归一化技术（如批量归一化Batch Norm或层归一化Layer Norm）。 在解释性机器学习（Explainable ML）方面，我们可以通过对数据...
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
在深度学习领域，Batch Normalization（批量归一化）和Layer Normalization（层归一化）是两种常用的技术，用于优化神经网络模型的训练过程。它们的主要目标是通过规范化网络层的输入，来减少内部协变量偏移，提高...
批量处理Batch Normalization（BN）
weixin_42535423的博客
03-12 556
Batch Normalization1.基本原理2.BN带来的好处。3.BN的缺陷4.BN的改进5.Batch Normalization的变种 1.基本原理 现在一般采用批梯度下降方法对深度学习进行优化，这种方法把数据分为若干组，按组来更新参数，一组中的数据共同决定了本次梯度的方向，下降时减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也下降了很多。 Batch Norma...
深度学习——Batch Norm简介
johnny_love_1968的博客
06-15 937
深度学习——Batch Norm 文章目录深度学习——Batch Norm前言：为什么要正则化一.单一神经元的正则化二. Batch Norm 前言：为什么要正则化 关于这个问题，举一个生活上的例子。我们知道在工业生产的时候，只有标准化的，流水线的生产方式，效率才是高的。一个流水线上生产的产品，几乎都是一模一样的。为什么要这样？因为这样生产效率高。如果一个流水线上一会儿生产特斯拉，一会儿又生产法拉利，那么这个流水线光折腾不同的零件就够让人折腾了，谈何加快效率？ 在神经网络当中也是这样子，如果所有层的输入数据
深度学习之优化详解：batch normalization
weixin_34358365的博客
07-27 150
摘要： 一项优化神经网络的技术，点进来了解一下？ 认识上图这些人吗？这些人把自己叫做“The Myth Busters”，为什么？在他们的启发下，我们才会在Paperspace做类似的事情。我们要解决是Batch Normalization（BN）是否确实解决了Internal Covariate Shift的问题。虽然Batch N...
batchnorm pytorch_PyTorch 多机多卡训练：DDP 实战与技巧
weixin_31301881的博客
01-09 1598
↑ 点击蓝字关注极市平台作者丨996黄金一代@知乎(已授权)来源丨https://zhuanlan.zhihu.com/p/250471767编辑丨极市平台极市导读DistributedDataParallel(DDP)是一个支持多机多卡、分布式训练的深度学习工程方法。其能达到略低于卡数的加速比,是目前最流行的多机多卡训练方法。在这篇文章里，作者通过几个实例，给大家介绍了DDP在实际...
深度学习基础知识 BatchNorm、LayerNorm、GroupNorm的用法解析
guoqingru0311的博客
10-10 1768
深度学习基础知识 BatchNorm、LayerNorm、GroupNorm的用法解析
Batch Norm简明图解【批归一化】
最新发布
新缸中之脑
11-28 3537
Batch Norm（批归一化） 是现代深度学习实践者工具包的重要组成部分。在批归一化论文中引入它后不久，它就被认为在创建可以更快训练的更深层次神经网络方面具有变革性。Batch Norm 是一种神经网络层，现在在许多架构中普遍使用。它通常作为线性或卷积块的一部分添加，并有助于在训练期间稳定网络。在本文中，我们将探讨什么是 Batch Norm、为什么需要它以及它是如何工作的。但在我们讨论批归一化本身之前，让我们先了解一些有关归一化的背景知识。
参数优化之Batch Normalization
rauchy的博客
06-23 2097
一、备注 最近我在研究深度学习和神经网络，看了一些比较经典的神经网络论文，有些地方不是很懂，于是简单地记录下来，一方面是供小伙伴们学习和讨论，另一方面也是通过写博客来激励自己学习。 神经网络的训练是一个玄学问题，参数调的不好的话训练速度会很慢。Batch Normalization是2015年提出的，主要是用于加快神经网络的训练，提高模型的泛化能力，而且实际测试的...
如何快速高效的训练ResNet，各种奇技淫巧（七）：batch norm
AI公园
08-28 5633
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：David Page编译：ronghuaiyang导读这个系列介绍了如何在CIFAR10上高效的训练Res...
BatchNorm作用*（加速收敛，提高泛化能力，即防止过拟合）
bl128ve900的博客
07-04 7854
暂存链接： 关于BN层为什么加 /gamma 和 /beta，以及BN位于激活层前还是激活层后。： （天空之城）Feature Scaling 和 Batch Norm 笔记https://shomy.top/2017/12/05/Feature-Scaling-Batch-Norm/ 加速收敛， 因为神经网络本质上是学习数据的分布情况，而mini-batch每次都会有不同的分布，也就是...
Batch Norm、Layer Norm、Instance Norm、Group Norm、Switchable Norm总结
热门推荐
一一
05-08 1万+
目录 1.综述 1. BN 2. LN 3. IN 4. GN 5. SN 2. 结论 1.综述 在入门深度学习时就深度学习中的一些概念做了一些介绍，但随着学习的不断深入，一些网络优化的技巧越来越多，才发现之前的理解的不够深入。在这里有对BN的理解，对出现的几种归一化进行一些个人理解的介绍，首先看一个直观图 归一化层，目前主要有这几个方法，Batch Normal...
A Survey of BatchNormalization（原理、背景、算法、演变、优缺点）
01-24
"BatchNormalization（批标准化）是深度学习领域中一种重要的技术，它通过规范化每层神经网络的输入，来提升模型训练的稳定性和效率。由Ioffe和Szegedy在2015年提出，BN的主要目标是解决深度神经网络中常见的梯度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值