对Batch Normalization的理解

原创 2018年04月15日 20:11:32

从别处看到说BN本质上是解决反向传播过程中的梯度decay和blow-up的问题。

为了增加理解和记忆,这里举一个特别简单的例子,希望能够说明白。


就以一维为例,设输入的就是x_i,i =1, 2,...,m

w为权,

这里高bias 为0,

输出为f=wx.

那么显然,f对x的导数为w

如果网络很deep的话,比如说100层, 那么就有可能会出现  1.1^100 or 0.9^100,这种情况。

那么BN为何能用到这里呢?

  • formally 看的话,BN(wx)= \gamma ((wx-\mu)/ (\sigma))   + \beta.
  • 所以再对x求导,是 (\gamma)/(\sigma) w,
  • 再formally看,  \sigma^2 = mean(wx-\mu)^2  \sim w^2
  • 所以w 和 \sigma的量级是一样的,也就是说把w的scale给吃掉了。
  • 给\gamma可以自己给定,这样就可变得可控了

深度增强学习(DRL)漫谈 - 从AC(Actor-Critic)到A3C(Asynchronous Advantage Actor-Critic)

原文地址:http://blog.csdn.net/jinzhuojun/article/details/72851548 前言 之前在文章《深度增强学习(DRL)漫谈 - 从DQN到Alph...
  • ariesjzj
  • ariesjzj
  • 2017-06-04 22:29:16
  • 11156

Batch Normalization简介

  • 2017年11月24日 17:20
  • 3.36MB
  • 下载

Batch Normalization理解

原文地址:http://blog.csdn.net/malefactor/article/details/51476961 作者:张俊林 Batch Normalization作为...
  • life_is_amazing
  • life_is_amazing
  • 2016-07-06 15:36:27
  • 3108

ReLU函数进行Batch Normalization意义分析

我们都知道,正则化是一种防止训练参数过拟合的一种极为有效的方式。激活函数的主要作用是提升圣经网络的非线性性。之前常用的激活函数,如Sigmoid, tanh函数,由于其饱和区的接近于0,因此需要将其进...
  • williamyi96
  • williamyi96
  • 2017-08-25 00:27:00
  • 380

深度学习中的Batch Normalization

在看 ladder network(https://arxiv.org/pdf/1507.02672v2.pdf) 时初次遇到batch normalization(BN). 文中说BN能加速收敛等好...
  • whitesilence
  • whitesilence
  • 2017-07-21 17:06:26
  • 11068

Batch Normalization 的原理解读

1:motivation 作者认为:网络训练过程中参数不断改变导致后续每一层输入的分布也发生变化,而学习的过程又要使每一层适应输入的分布,因此我们不得不降低 学习率、小心地初始化。作者将分布发生变化称...
  • ZhikangFu
  • ZhikangFu
  • 2016-11-29 14:13:12
  • 4004

[DeeplearningAI笔记]Batch NormalizationBN算法Batch归一化_02_3.4-3.7

Batch NormalizationBatch归一化觉得有用的话,欢迎一起讨论相互学习~Follow Me3.4正则化网络的激活函数 Batch归一化会使你的参数搜索问题变得很容易,使神经网络对超参...
  • u013555719
  • u013555719
  • 2017-10-29 21:36:45
  • 223

关于Batch Normalization(批归一化)的理解

近期将Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift读了两遍,...
  • jyli2_11
  • jyli2_11
  • 2017-07-06 20:48:25
  • 1432

Batch Normalization & Layer Normalization整理(代码实现下载)

以下为layer normalisation文章解析: 摘要 训练目前性能最好的深度神经网络计算代价高昂. 一种减少训练时间的方法是规范化神经元的激活值. 近期引入的批规范化(batch no...
  • xwd18280820053
  • xwd18280820053
  • 2017-04-19 10:32:59
  • 2014

解读Batch Normalization

目录 目录 1-Motivation 2-Normalization via Mini-Batch Statistics 测试 BN before or after Activation 3-Expe...
  • shuzfan
  • shuzfan
  • 2016-02-23 16:03:23
  • 14876
收藏助手
不良信息举报
您举报文章:对Batch Normalization的理解
举报原因:
原因补充:

(最多只允许输入30个字)