Batch Normalization反向传播公式的推导

最新推荐文章于 2023-04-16 10:04:38 发布
最新推荐文章于 2023-04-16 10:04:38 发布
阅读量757 收藏
点赞数
分类专栏： 深度学习
love music.
关注
专栏目录
总结2: Batch Normalization反向传播公式推导及其向量化
pan5431333的博客
09-21 8050
1. 背景介绍上周学习了吴恩达的Deep Learning专项课程的第二门课，其中讲到了Batch Normalization（BN）。但在课程视频中，吴恩达并没有详细地给出Batch Normalization反向传播的公式推导，而是从high level的角度解释了为什么Batch Normalization会work，以及如何在TensorFlow等framework中使用Batch Norm
Batch Normalization原理 与 反向传播公式推导
北溟客的博客
07-12 762
1.Batch Normalization的动机 在进行深度神经网络训练过程中，每一层的输入的分布在不断训练过程中都会发生变化。我们知道，神经网络每一层都相当于一个概率分布函数，将信息输入该函数，就会输出相应的分类或回归结果。我们最希望的是每次的输入的概率分布都是相同的，这样训练的到的每一层网络都能够更加接近真实的输入输出关系。但是不幸的是，随着网络参数的不断更新，输出结果也在不断变动之中，导致下一层的输入样本的概率分布也在变化。这种分布的改变到比较深的层次就会产生很大影响，深层的神经网络每次更新参数就会变
Batch Normalization梯度反向传播推导
赤道6号转向发动机的博客
03-28 493
一篇讲解Batch Normalization反向传播公式推导比较清楚的文章: Batch Normalization梯度反向传播推导
batch norm反向公式推导
大泽之国
01-05 905
输入 Xi=(xi0,xi1,...,xi(n−1))X_i=(x_{i0},x_{i1},...,x_{i(n-1)})Xi​=(xi0​,xi1​,...,xi(n−1)​) i∈[0,m−1]i \in [0,m-1]i∈[0,m−1] batch-size等于m,特征维度n 输出 Yi=(yi0,yi1,...,yi(n−1))Y_i=(y_{i0},y_{i1},...,y_{i(n-1...
Batch Normalization 反向传播（backpropagation ）公式的推导
04-15 5975
What does the gradient flowing through batch normalization looks like ?反向传播梯度下降权值参数更新公式的推导全依赖于复合函数求梯度时的链式法则。
Batch Norm层反向传播梯度推导（手写） 结合计算图
jasminefeng的博客
11-08 712
batch normalization原理以及反向传播公式
qq_28778507的博客
11-27 5348
BN是重要的正则化手段，同时也会加速模型的收敛。 首先介绍一下深度神经网络的特性。网络中层与层之间有着高度关联性和耦合性。前一层的输出是后一层的输入。随着训练的进行，网络中的参数也随着梯度下降在不停更新。 一方面，当底层网络中参数发生微弱变化时，由于每一层中的线性变换与非线性激活映射，这些微弱变化随着网络层数的加深而被放大； 另一方面，参数的变化导致每一层的输入分布会发生改变，进而上层的网络需要...
batch normalization(批量归一化)
sujixian1995的博客
09-23 792
批量归一化 训练深层神经网络是十分困难的，特别是在较短的时间内使他们收敛更加棘手。 批量归一化（batch normalization）这是一种流行且有效的技术，可持续加速深层网络的收敛速度。 批量归一化使得我们能够训练 100 层以上的网络。 1 训练深层网络 首先，数据预处理的方式通常会对最终结果产生巨大影响。使用真实数据时，我们的 第一步是标准化输入特征，使其平均值为0，方差为1。这种标准化可以很好地与我们的优化器配合使用，因为它可以将参数的量级进行统一。 第二，对于典型的多层感知机或卷积神经网络.
深度学习算法与编程+Python和PyTorch对比实现批标准化Batch Normalization函数及反向传播
baidu_40840693的博客
08-22 217
深度学习算法与编程 https://blog.csdn.net/oBrightLamp/article/details/85067981 Python和PyTorch对比实现批标准化Batch Normalization函数及反向传播 https://blog.csdn.net/oBrightLamp/article/details/84557854 ...
有batch normalization的卷积层的前向和后向传播
weixin_41665225的博客
11-18 1035
Batch Normalization笔记Batch Normalization的来源简化版的Convolutional Layer梯度消失的问题Normalization的变体最基本的数据规范化批规范化加了Batch Normalization的卷积层Batch Normalization放在哪里前向传播算法反向传播算法 Batch Normalization的来源 简化版的Convolutio...
深度学习中的批归一化|深度学习
qq_48081868的博客
12-01 1015
深度学习中的批归一化|深度学习 在进行神经网络训练的时候，除了一些优化算法外，还有其它的一些优化技术，这些技术并不是具体的算法，而是一些通用的技巧，其中批归一化就是常用的一个技巧。   批归一化是loffe等在2015年提出来的优化神经网络训练的方法，自提出就受到了广泛关注。批归一化和普通的数据标准化类似，是将分散的数据统一的一种做法。批归一化所解决的问题实际上是对数据分布的调整。在神经网络训练过程中，尤其是深度神经网络训练过程中，在初始训练阶段，隐藏层中的神经元可能会变成“饱和”状态，导致更新缓慢，这是
Batch Normalization函数详解及反向传播中的梯度求导
BrightLamp的博客
11-22 1843
作者论文公式：https://arxiv.org/abs/1502.03167 批标准化 (Batch Normalization) 的思想来自于传统的机器学习, 主要为了处理数据取值范围相差过大的问题. 比如, 正常成年人每升血液中所含血细胞的数量： 项目 数量 (个) 红细胞计数 RBC 3.5×1012~5.5×1012个 白细胞计数 WBC 5.0×109~10.0...
Batch Normalization的反向传播解说
macan的博客
02-10 2129
Batch Normalization的反向传播详细解说 Batch Normalization在我的另一篇博客中已经详细说明了，而这篇我将详细介绍下Batch Normalization的反向传播的细节。 先贴张前向和反向传播图： 从左到右，沿着黑色箭头向前传播。输入是一个矩阵X，γ\gammaγ和β\betaβ作为向量。从右到左，沿着红色箭头反向传播，将梯度从上一层分布到γ\gammaγ和β\betaβ，并一直返回到输入。 篇外话，下图中简单说明了正向传播和反向传播的示意图，如果看不懂，建议百度搜索链
【深度学习理论】之Batch Normalization(BN层)
没有笔记本用了
04-19 5892
参考：BN层 一、背景 引入原因 随着网络越深，在反向传播算法向后传播的时候，梯度不断的相乘，从前到后之后，梯度将会很小 损失出现在最后，后面的层训练的较快 而数据在最底部 底部的层训练较慢 底部层一变化，所有都跟着变化 最后那些层需要重新学习多次 导致收敛变慢 因此：可以在学习底部层的时候避免变化的顶不层 提出 2015 年，Google 研究人员Sergey Ioffe等提出了一种参数标准化(N..
详解Batch Normalization及其反向传播
zandaoguang的博客
08-31 1053
↑ 点击蓝字关注视学算法作者丨风行天上@知乎来源丨https://zhuanlan.zhihu.com/p/45614576极市导读本文介绍了Batch Normalization的...
理解Batch Normalization
PedestrianZQZ的博客
11-16 541
理解Batch Normalization什么是Batch Normalization为什么需要Batch Normalization注意事项 什么是Batch Normalization Batch Normalization用公式可以表示为 x∈B,BN(x)=γ⊙x−μ^Bσ^B+β x\in B, BN(x) = \gamma\odot\frac{x-\hat{\mu}_B}{\hat{\sigma}_B}+\beta x∈B,BN(x)=γ⊙σ^B​x−μ^​B​​+β μ^B、σ^B\hat{\
机器学习笔记之正则化(六)批标准化(BatchNormalization)
静静的学习就好
04-16 625
本节以梯度消失为引，介绍批标准化(Batch Normalization)。
batch normalization 的反向传播是什么样的
最新发布
05-12
Batch Normalization的反向传播可以用链式法则来推导。下面是一个简单的推导过程： 假设输入为$x$，BN层的输出为$y$，其归一化后的值为$\hat{y}$，缩放和移位后的输出为$z$，BN层的参数为$\gamma$和$\beta$，损失函数为$L$。 则有： $$\hat{y}=\frac{x-\mu_B}{\sqrt{\sigma_B^2+\epsilon}}$$ $$y=\gamma\hat{y}+\beta$$ 其中，$\mu_B$和$\sigma_B^2$分别是批量的均值和方差，$\epsilon$是一个很小的常数，防止分母为零。 BN层的反向传播分为两部分：对$\gamma$和$\beta$的梯度和对输入$x$的梯度。 首先，对$\gamma$和$\beta$的梯度可以直接计算： $$\frac{\partial L}{\partial \gamma}=\sum_{i=1}^n\frac{\partial L}{\partial y_i}\hat{y_i}$$ $$\frac{\partial L}{\partial \beta}=\sum_{i=1}^n\frac{\partial L}{\partial y_i}$$ 接下来，我们需要计算对输入$x$的梯度。我们可以先计算$\frac{\partial L}{\partial \hat{y}}$，然后通过链式法则计算出$\frac{\partial L}{\partial x}$： $$\frac{\partial L}{\partial \hat{y_i}}=\frac{\partial L}{\partial y_i}\gamma$$ $$\frac{\partial L}{\partial \sigma_B^2}=\sum_{i=1}^n\frac{\partial L}{\partial \hat{y_i}}(x_i-\mu_B)(-\frac{1}{2})(\sigma_B^2+\epsilon)^{-\frac{3}{2}}$$ $$\frac{\partial L}{\partial \mu_B}=-\frac{1}{\sqrt{\sigma_B^2+\epsilon}}\sum_{i=1}^n\frac{\partial L}{\partial \hat{y_i}}+\frac{\partial L}{\partial \sigma_B^2}\frac{1}{n}\sum_{i=1}^n-2(x_i-\mu_B)$$ $$\frac{\partial L}{\partial x_i}=\frac{\partial L}{\partial \hat{y_i}}\frac{1}{\sqrt{\sigma_B^2+\epsilon}}+\frac{\partial L}{\partial \sigma_B^2}\frac{2(x_i-\mu_B)}{n}+\frac{\partial L}{\partial \mu_B}\frac{1}{n}$$ 其中，$\frac{\partial L}{\partial \mu_B}$和$\frac{\partial L}{\partial \sigma_B^2}$可以通过反向传播递归计算得到。 最后，我们可以使用$\frac{\partial L}{\partial x}$更新网络的权重参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值