Batch Normalization

最新推荐文章于 2023-04-25 19:17:30 发布
最新推荐文章于 2023-04-25 19:17:30 发布
阅读量202 收藏
点赞数 1
文章标签： 神经网络 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/san_sun/article/details/115312371
版权

Batch Normalization

这篇Blog主要总结一下Batch Normalization在训练模型的时候的作用，以及具体的实现方法。

为什么需要使用Batch Normalization?

首先了解一下什么是batch、batch_size、和epoch

  • epoch: 表示把所有的训练集输入到模型完整地训练一遍。
  • batch: 模型训练时，往往不是一次性把所有的训练集输入到模型中，而是把训练集分成较小的批，即分成一个个的batch
  • batch_size: batch的大小

例如batch_size为5，代表模型处理5个样本后，更新一次参数，即进行一次学习。完成batch次训练后，把数据集完整的训练了一遍，即完成了一个epoch。

batch对模型的训练有着重要的影响，例如batch_size的大小以及每个batch中数据的分布。说到数据的分布，可以batch范围的Normalization和整个数据集的Normalization来调整数据分布。为什么需要使用batch Normalization，可以从训练样本的角度出发来看，但一个batch训练完成后，更新一次参数，因为不同的batch之间可能存在不同的分布，让模型可以更好的识别更多类型的分布。

为什么要做Normalization

不同的特征所带来的不同的取值范围会让error surface变得非常崎岖，难以更新参数，对训练会造成阻碍。

在这里插入图片描述

而Normalization能让不同的特征有相同的取值范围，大大的改善了error surface，有利于模型的训练

在这里插入图片描述

如何做Normalization

在这里插入图片描述

上面是比较常见的Normalization，能让特征的均值为0，方差为1。

在这里插入图片描述

对于深度神经网络而言，每层hidden layer的input也需要做Normalization，因为经过W矩阵之后，特征的取值范围又发生了变化。

batch Normalization是发生在训练的时候，那在测试的时候需要怎么做呢？

在这里插入图片描述

在测试的时候，可以利用训练时候计算的均值和方差，在测试的时候直接把它们拿过来进行Normalization。

在这里插入图片描述

Batch Normalization 可以帮助Optimization，这种发现也是非常偶然的，可以参见How Does Batch Normalization Help Optimization?

Reference：

李宏毅《机器学习》：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html

san_sun
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Batch Normation
哆啦咪~fo
04-06 734
之前花费了比较长的时间在论文阅读上，导致最近的博客都没有产出～～ 参考论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 可以理解为对深层神经网络每个隐层神经元的激活值做简化版本的白化操作 为什么要提出Batch Normation 1. 深度网络的训...
TensorFlow实现Batch Normalization
09-20
**TensorFlow实现Batch Normalization详解** Batch Normalization（简称BN）是一种在深度学习中用于加速训练和提升模型泛化能力的技术。它通过归一化每一层的激活值，确保网络在训练过程中能保持稳定的数据分布，...
【深度学习】Batch Normalizaton 的作用及理论基础详解
frank 的专栏
11-18 1万+
对于 Batch Normalization 的知识最原始的出处来源于《Batch Normalization:Accelerating Deep Network Trainning by Reducing Internal Covariate Shift》这篇论文。 文章开始前，先讲一下 Batch Normalization 有什么好处。 加速神经网络的训练过程。 减少对 Dropout 的...
批标准化（Batch Normalization ）最详细易懂的解释
天明宇朗的博客
08-01 3355
12. 批标准化（Batch Normalization ） 大纲：Tips for Training Deep Network Training Strategy: Batch Normalization Activation Function: SELU Network Structure: Highway Network Batch Normalizat...
Batch Normalization 以及dropout的原理解读
xq920831的博客
12-24 848
搜集了几个链接，感觉不错 Batch Normalization： https://blog.csdn.net/zhikangfu/article/details/53391840 https://www.cnblogs.com/bonelee/p/8528722.html dropout： https://blog.csdn.net/stdcoutzyx/article/details...
batch normalization and batch size
xxzhix的博客
12-04 1017
batch normalization的原理解释可以看https://www.cnblogs.com/guoyaohua/p/8724433.html 我觉得写得挺清晰的 实验结果： batch_size的大小会影响batch normalization的效果。当batch_size过大的时候，会使得模型效果不稳定（我做的实验是模型偏向于预测为某一个类别）。 实验： 模型：DPCNN，在...
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
在深度学习领域，Batch Normalization（批量归一化）和Layer Normalization（层归一化）是两种常用的技术，用于优化神经网络模型的训练过程。它们的主要目标是通过规范化网络层的输入，来减少内部协变量偏移，提高...
Batch Normalization简介
11-24
对Batch Normalization论文进行了解读，用通俗的视角理解Batch Normalization。 对Batch Normalization论文进行了解读，用通俗的视角理解Batch Normalization。 对Batch Normalization论文进行了解读，用通俗的视角...
Batch Normalization详解
关于我的学习记录
04-13 1486
Batch Normalization详解
BatchNormalization和LayerNormalization的理解、适用范围、PyTorch代码示例
weixin_44644621的博客
04-25 601
学习神经网络归一化时，文章形形色色，但没找到适合小白通俗易懂且全面的。学习过后，特此记录。
batch normalization 详解
gbyy42299的博客
05-18 4495
Batch Normalization是2015年Google研究员在论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》一文中提出的，同时也将BN应用到了2014年的GoogLeNet上，也就是Inception-v2。 BN算法在很大程度上加速了训练过程，...
深度学习中的Normalization模型
weixin_30514745的博客
10-15 192
Batch Normalization（简称 BN）自从提出之后，因为效果特别好，很快被作为深度学习的标准工具应用在了各种场合。BN 大法虽然好，但是也存在一些局限和问题，诸如当 BatchSize 太小时效果不佳、对 RNN 等动态网络无法有效应用 BN 等。针对 BN 的问题，最近两年又陆续有基于 BN 思想的很多改进 Normalization 模型被提出。BN 是深度学习进展中里程碑式...
Batch Normalization （训练、测试、优点、缺点）
ac540101928的专栏
12-09 2950
一、使用顺序： Conv=>BN=>ReLU=>dropout=>Conv BN本质上是解决传播过程中的梯度消失问题 二、训练 下图面试常考！ 训练时前向传导过程公式： 理解： 1. 这个可学习重构参数 γ、β，让我们的网络可以学习恢复出原始网络所要学习的特征分布。（因为如果没有 γ、β ，那相当于我这一层网络所学习到的特征分布被你搞坏了） 2. 这个 scale 和 shift ，它们的主要作用就是找到一个线性和非线性的平衡点，既能享受非线性较强的表达能力，有.
Batch Normalization（BN）超详细解析
热门推荐
weixin_44023658的博客
04-29 4万+
单层视角 神经网络可以看成是上图形式，对于中间的某一层，其前面的层可以看成是对输入的处理，后面的层可以看成是损失函数。一次反向传播过程会同时更新所有层的权重W1,W2,…,WL，前面层权重的更新会改变当前层输入的分布，而跟据反向传播的计算方式，我们知道，对Wk的更新是在假定其输入不变的情况下进行的。如果假定第k层的输入节点只有2个，对第k层的某个输出节点而言，相当于一个线性模型y=w1x1+w2x...
Batch Normalization详解（原理+实验分析）
macan的博客
02-10 1万+
Batch Normalization详解（原理+实验分析）1. 计算过程2. 前向传播过程3. 反向传播过程4. 实验分析4.1 实验一：验证有没有BatchNorm下准确率的区别4.2 实验二：验证有没有BatchNorm+noisy下准确率的区别4.3 实验三：验证有没有BatchNorm+noisy下准确率的区别4.4 实验小结5. BatchNorm的其他细节5.1 训练和推理阶段时参数的初始化问题5.2 BatchNorm在哪个位置最好？5.3 在训练时为什么不直接使用整个训练集的均值/方差？5
BatchNormal总结
撕裂的天堂
03-06 9249
   BatchNormal作用是归一化，减去均值，单位化方差。这样训练更快，因为把数据集都映射到原点周围了。但是这样会导致后面激活函数的表达能力变差，所以作者又引入了缩放和平移，即公式所写那样。在Caffe中，分两步，第一步BN层，实现上述第一个作用。第二部Scale层，实现上述缩放平移。那么还有个问题，训练的时候是一个batch进来，有均值，测试的时候只有一张，不存在均值这一说，怎么办？看了一...
Batch Normalization在测试和训练阶段的不同
OliverkingLi的博客
07-15 1万+
关于BN的具体定义可以看看论文：Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift BN在训练阶段是保持计算每一个Batch的均值和方差的，其计算算法： 但是我们知道在训练过程中有很多的batch，怎么保证在训练和测试阶段的batch参数保持一致呢？ 其实就...
BatchNormalization
最新发布
05-20
Batch Normalization是一种广泛应用于深度学习神经网络中的技术，用于加速网络的训练和提高其性能。Batch Normalization通过将每个batch（批次）中的输入数据进行标准化，使得每个特征都具有零均值和单位方差，从而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值