Bach Normalization

本文详细介绍了TensorFlow中用于Batch Normalization的tf.nn.moments和tf.nn.batch_normalization函数,通过实例解释了如何计算多维数据的均值和方差。讨论了BN在神经网络训练和测试阶段的差异,并展示了在卷积神经网络中的应用。Batch Normalization加速了网络训练,减少了内部协变量漂移,提高了模型的泛化能力。
摘要由CSDN通过智能技术生成

【文章一】

tensorflow中关于BN(Batch Normalization)的函数主要有两个,分别是:

  • tf.nn.moments
  • tf.nn.batch_normalization

关于这两个函数,官方API中有详细的说明,具体的细节可以点链接查看,关于BN的介绍可以参考这篇论文,我来说说自己的理解。
不得不吐槽一下,tensorflow的官方API很少给例子,太不人性化了,人家numpy做的就比tensorflow强。
对了,moments函数的计算结果一般作为batch_normalization的部分输入!这就是两个函数的关系,下面展开介绍!

一、tf.nn.moments函数

官方的输入定义如下:

def moments(x, axes, name=None, keep_dims=False)

解释如下:

  • x 可以理解为我们输出的数据,形如 [batchsize, height, width, kernels]
  • axes 表示在哪个维度上求解,是个list,例如 [0, 1, 2]
  • name 就是个名字,不多解释
  • keep_dims 是否保持维度,不多解释

这个函数的输出有两个,用官方的话说就是:

Two Tensor objects: mean andvariance.

解释如下:

  • mean 就是均值啦
  • variance 就是方差啦

关于这个函数的最基本的知识就介绍完了,但依然没明白这函数到底是干啥的,下面通过几个例子来说明:

  • 1、计算2×3维向量的mean和variance,程序节选如下:

    img = tf.Variable(tf.random_normal([2, 3]))
    axis = list(range(len(img.get_shape()) - 1))
    mean, variance = tf.nn.moments(img, axis)

    输出的结果如下:

    img = [[ 0.69495416  2.08983064 -1.08764684]
           [ 0.31431156 -0.98923939 -0.34656194]]
    mean =  [ 0.50463283  0.55029559 -0.71710438]
    variance =  [ 0.0362222   2.37016821  0.13730171]

    有了例子和结果,就很好理解了,moments函数就是在 [0] 维度上求了个均值和方差,对于axis这个参数的理解,可以参考这里
    另外,针对2×3大小的矩阵,axis还可以这么理解,若axis = [0],那么我们2×3的小矩阵可以理解成是一个包含了2个长度为3的一维向量,然后就是求这两个向量均值方差啦!多个向量的均值、方差计算请自行脑补。
    当然了,这个例子只是一个最简单的例子,如果换做求形如“[batchsize, height, width, kernels]”数据的mean和variance呢?接下来来简单分析一下。

  • 2、计算卷积神经网络某层的的mean和variance
    假定我们需要计算数据的形状是 [batchsize, height, width, kernels],熟悉CNN的都知道,这个在tensorflow中太常见了,例程序如下:

    img = tf.Variable(tf.random_normal([128, 32, 32, 64]))
    axis = list(range(len(img.get_shape()) - 1))
    mean, variance = tf.nn.moments(img, axis)

    形如[128, 32, 32, 64]的数据在CNN的中间层非常常见,那么,为了给出一个直观的认识,这个函数的输出结果如下,可能输出的数字比较多。。。

    mean =  [ -1.58071518e-03   9.46253538e-04   9.92774963e-04  -2.57909298e-04
               4.31227684e-03   2.85443664e-03  -3.51431966e-03  -2.95847654e-04
              -1.57856941e-03  -7.36653805e-04  -3.81006300e-03   1.95848942e-03
              -2.19231844e-03   1.88898295e-04   3.09050083e-03   1.28045678e-04
              -5.45501709e-04  -7.49588013e-04   3.41436267e-03   4.55856323e-04
               1.21808052e-03   1.71916187e-03   2.33578682e-03  -9.98377800e-04
               1.01172924e-03  -3.25803459e-03   1.98090076e-03  -9.53197479e-04
               3.37207317e-03   6.27857447e-03  -2.22939253e-03  -1.75476074e-04
               1.82938576e-03   2.28643417e-03  -2.59208679e-03  -1.05714798e-03
              -1.82652473e-03   4.51803207e-05  -1.38700008e-03   1.88308954e-03
              -3.67999077e-03  -4.22883034e-03   8.54551792e-04  -1.30176544e-04
              -1.02388859e-03   3.15248966e-03  -1.00244582e-03  -3.58343124e-04
               9.68813896e-04  -3.17507982e-03  -2.61783600e-03  -5.57708740e-03
              -3.49491835e-04   7.54106045e-03  -9.98616219e-04   5.13806939e-04
               1.08468533e-03   1.58560276e-03  -2.76589394e-03  -1.18827820e-03
              -4.92024422e-03   3.14301252e-03   9.12249088e-04  -1.98567938e-03]
    variance =  [ 1.00330877  1.00071466  1.00299144  1.00269675  0.99600208  0.99615276
                  0.9968518   1.00154674  0.99785519  0.99120021  1.00565553  0.99633628
                  0.99637395  0.99959981  0.99702841  0.99686354  1.00210547  1.00151515
                  1.00124979  1.00289011  1.0019592   0.99810153  1.00296855  1.0040164
                  1.00397885  0.99348587  0.99743217  0.99921477  1.00718474  1.00182319
                  1.00461221  1.00222814  1.00570309  0.99897575  1.00203466  1.0002507
                  1.00139284  1.0015136   1.00439298  0.99371535  1.00209546  1.00239146
                  0.99446201  1.00200033  1.00330424  0.99965429  0.99676734  0.99974728
                  0.99562836  1.00447667  0.9969337   1.0026046   0.99110448  1.00229466
                  1.00264072  0.99483615  1.00260413  1.0050714   1.00082493  1.00062656
                  1.0020628   1.00507069  1.00343442  
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值