CS231n作业笔记2.4:Batchnorm的实现与使用

原创 2017年01月03日 21:21:48

CS231n简介

详见 CS231n课程笔记1:Introduction
本文都是作者自己的思考,正确性未经过验证,欢迎指教。

作业笔记

Batchnorm的思想简单易懂,实现起来也很轻松,但是却具有很多优良的性质,具体请参考课程笔记。下图简要介绍了一下Batchnorm需要完成的工作以及优点(详情请见CS231n课程笔记5.3:Batch Normalization):
batchnorm
需要注意的有:

  1. 最后一步对归一化后的数据进行平移与缩放,且此参数可学习。
  2. 上诉参数对于x的每一维都具有相应的参数,故假设X.shape = [N,D],那么gamma.shape = [D,]

1. 前向传播

这里即实现上图所诉功能,需要注意的有:

  1. out_media的命名是为了后向传播的时候处理方便
  2. 使用var而不是std,这既符合图中公式,又方便了后向传播
  3. 计算out_media的时候,减法以及除法都做了broadcasting,对应于反向传播的时候sum
  4. 同理,计算out的时候,加法以及乘法也都做了broadcasting

注:broadcasting的部分请参考python、numpy、scipy、matplotlib的一些小技巧

  if mode == 'train':
    mean = np.mean(x,axis = 0)
    var = np.var(x,axis = 0)
    running_mean = running_mean * momentum + (1-momentum) * mean
    running_var = running_var * momentum + (1-momentum) * var
    out_media = (x-mean)/np.sqrt(var + eps)
    out = (out_media + beta) * gamma
    cache = (out_media,x,mean,var,beta,gamma,eps)
  elif mode == 'test':
    out = (x-running_mean)/np.sqrt(running_var+eps)
    out = (out + beta) * gamma
    cache = (out,x,running_mean,running_var,beta,gamma,eps)

2. 后向传播

对前面所诉的前向传播过程做BP(详情参考CS231n课程笔记4.1:反向传播BP),值得注意的有:

  1. dgamma以及dbeta求值的时候由于前向传播那里使用了broadcasting,这里需要做求和。
  2. dvar也会向dmean传播,所以先分解dvar。
  3. 直接求解dvar过于复杂,使用dstd过渡。
  4. 每次求解的时候不要忘记乘以全局梯度。
  5. 对于dvar的分解,分别使用(x-mean)^2以及(x-mean)过渡。
  dout_media = dout * gamma
  dgamma = np.sum(dout * (out_media + beta),axis = 0)
  dbeta = np.sum(dout * gamma,axis = 0)
  dx = dout_media / np.sqrt(var + eps)
  dmean = -np.sum(dout_media / np.sqrt(var+eps),axis = 0)
  dstd = np.sum(-dout_media * (x - mean) / (var + eps),axis = 0)
  dvar = 1./2./np.sqrt(var+eps) * dstd
  dx_minus_mean_square = dvar / x.shape[0]
  dx_minus_mean = 2 * (x-mean) * dx_minus_mean_square
  dx += dx_minus_mean
  dmean += np.sum(-dx_minus_mean,axis = 0)
  dx += dmean / x.shape[0] 

3. 应用:带Batchnorm的多层神经网络

不带Batchnorm多层神经网络的实现参考CS231n作业笔记2.2:多层神经网络的实现

3.1. 初始化代码

初始化参数,注意beta以及gamma都需要初始化,而且对于x的每一维都存在相应独立的参数。

    self.bn_params = []
    if self.use_batchnorm:
      self.bn_params = [{'mode': 'train'} for i in xrange(self.num_layers - 1)]
      for i in xrange(self.num_layers-1):
            self.params['beta'+str(i+1)] = np.zeros(hidden_dims[i])
            self.params['gamma'+str(i+1)] = np.ones(hidden_dims[i])

3.2. 前向传播代码

计算scores,注意对于最后一层全连接的输出不做BN;以及running_mean以及running_var是内部变量,每次只在自己内部更新,不同层的mean与var无关。

    cache = {}
    hidden_value = None
    hidden_value,cache['fc1'] = affine_forward(X,self.params['W1'],self.params['b1'])
    if self.use_batchnorm:
        hidden_value,cache['bn1'] = batchnorm_forward(hidden_value, self.params['gamma1'], self.params['beta1'], self.bn_params[0])
    hidden_value,cache['relu1'] = relu_forward(hidden_value)
    for index in range(2,self.num_layers):
        hidden_value,cache['fc'+str(index)] = affine_forward(hidden_value,self.params['W'+str(index)],self.params['b'+str(index)])
        if self.use_batchnorm:
            hidden_value,cache['bn'+str(index)] = batchnorm_forward(hidden_value,  self.params['gamma'+str(index)], self.params['beta'+str(index)], self.bn_params[index-1])
        hidden_value,cache['relu'+str(index)] = relu_forward(hidden_value)

    scores,cache['score'] = affine_forward(hidden_value,self.params['W'+str(self.num_layers)],self.params['b'+str(self.num_layers)])

3.3. 后向传播代码

计算gradient,注意本作业对于beta以及gamma不做正则化,但是keras等开源库提供了相应正则化的接口。

    loss, grads = 0.0, {}
    loss,dscores = softmax_loss(scores,y)
    for index in range(1,self.num_layers+1):
        loss += 0.5*self.reg*np.sum(self.params['W'+str(index)]**2)

    dhidden_value,grads['W'+str(self.num_layers)],grads['b'+str(self.num_layers)] = affine_backward(dscores,cache['score'])
    for index in range(self.num_layers-1,1,-1):
        dhidden_value = relu_backward(dhidden_value,cache['relu'+str(index)])
        if self.use_batchnorm:
            dhidden_value, grads['gamma'+str(index)], grads['beta'+str(index)] = batchnorm_backward(dhidden_value, cache['bn'+str(index)])
        dhidden_value,grads['W'+str(index)],grads['b'+str(index)] = affine_backward(dhidden_value,cache['fc'+str(index)])
    dhidden_value = relu_backward(dhidden_value,cache['relu1'])
    if self.use_batchnorm:
        dhidden_value, grads['gamma1'], grads['beta1'] = batchnorm_backward(dhidden_value, cache['bn1'])
    dhidden_value,grads['W1'],grads['b1'] = affine_backward(dhidden_value,cache['fc1'])

    for index in range(1,self.num_layers+1):
        grads['W'+str(index)] += self.reg * self.params['W'+str(index)] 
版权声明:本文为博主原创文章,未经博主允许不得转载。

CNN和RNN中如何引入BatchNorm

在上一篇文章介绍了BatchNorm基本思路后,本文介绍CNN和RNN中如何引入BatchNorm及目前可以得出的一些研究结论。...

caffe层解读系列——BatchNorm

之前也写过一篇介绍 Batch Normalization 的文章,原理还不是很清楚的童鞋可以移步看一下。后来看到caffe中的实现,发现还是有很大不同之处,所以这里介绍一些caffe中的BN。 ——...
  • shuzfan
  • shuzfan
  • 2016年10月03日 20:59
  • 10402

BatchNorm layer设定

BN层的设定一般是按照conv->bn->scale->relu的顺序来形成一个block。 关于bn,有一个注意点,caffe实现中的use_global_stats参数在训练时设置为false,...

Batch Normalization导读

Batch Normalization作为最近一年来深度学习的重要成果,已经广泛被证明其有效性和重要性。本文对原始论文进行导读,帮助读者更好地理解BatchNorm。...

Caffe 中 BN(BatchNorm ) 层的参数均值、方差和滑动系数解读

Caffe 中 BN(BatchNorm ) 层的参数均值、方差和滑动系数解读 —————————— 可选参数 —————————— 可选参数定义在 src\caffe\proto\caffe.p...
  • d5224
  • d5224
  • 2017年05月25日 15:55
  • 2734

caffe层解读系列——BatchNorm

之前也写过一篇介绍 Batch Normalization 的文章,原理还不是很清楚的童鞋可以移步看一下。后来看到caffe中的实现,发现还是有很大不同之处,所以这里介绍一些caffe中的BN。 ——...

论文心得:BatchNorm及其变体

本文记录BatchNormalization及其四个拓展,分别是BatchRenormalization、AdaBN、WeightNormalization、NormalizationPropagat...

caffe学习笔记20-BatchNorm层分析

caffe学习记录

google batchnorm 资料总结

训练webface 李子青提出的大网络,总是出现过拟合,效果差。 尝试使用batchnorm。 参考博客: http://blog.csdn.net/malefactor/article/detail...

[caffe]深度学习之图像分类模型Batch Normalization[BN-inception]解读

一、简介 如果将googlenet称之为google家的inception v1的话,其Batch Normalization(http://arxiv.org/pdf/1502.03167v3....
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:CS231n作业笔记2.4:Batchnorm的实现与使用
举报原因:
原因补充:

(最多只允许输入30个字)