tensorflow-BatchNormalization(tf.nn.moments及tf.nn.batch_normalization)

批标准化

  • 批标准化(batch normalization,BN)一般用在激活函数之前,使结果 x=Wx+b 各个维度均值为0,方差为1。通过规范化让激活函数分布在线性区间,让每一层的输入有一个稳定的分布会有利于网络的训练。
  • 优点:
    • 加大探索步长,加快收敛速度。
    • 更容易跳出局部极小。
    • 破坏原来的数据分布,一定程度上防止过拟合。
  • 解决收敛速度慢和梯度爆炸。

tensorflow相应API

  • mean, variance = tf.nn.moments(x, axes, name=None, keep_dims=False)
    • 计算统计矩,mean 是一阶矩即均值,variance 则是二阶中心矩即方差,axes=[0]表示按列计算;
  • tf.nn.batch_normalization(x, mean, variance, offset, scale, variance_epsilon, name=None)
    • tf.nn.batch_norm_with_global_normalization(x, mean, variance, beta, gamma, variance_epsilon, scale_after_normalization, name=None);
    • tf.nn.moments 计算返回的 mean 和 variance 作为 tf.nn.batch_normalization 参数调用;

tensorflow及python实现

import tensorflow as tf
W = tf.constant([[-2.,12.,6.],[3.,2.,8.]], )
mean,var = tf.nn.moments(W, axes = [0])
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    resultMean = sess.run(mean)
    print(resultMean)
    resultVar = sess.run(var)
    print(resultVar)
[ 0.5  7.   7. ]
[  6.25  25.     1.  ]

计算每个列的均值及方差。

size = 3
scale = tf.Variable(tf.ones([size]))
shift = tf.Variable(tf.zeros([size]))
epsilon = 0.001
W = tf.nn.batch_normalization(W, mean, var, shift, scale, epsilon)
#参考下图BN的公式,相当于进行如下计算
#W = (W - mean) / tf.sqrt(var + 0.001)
#W = W * scale + shift

BN公式

with tf.Session() as sess:
    #必须要加这句不然执行多次sess会报错
    sess.run(tf.global_variables_initializer())
    resultW = sess.run(W)
    print(resultW)
#观察初始W第二列 12>2 返回BN的W值第二列第二行是负的,其余两列相反
[[-0.99992001  0.99997997 -0.99950027]
 [ 0.99991995 -0.99997997  0.99950027]]

Bug

Attempting to use uninitialized value Variable_8:

#运行sess.run之前必须要加这句不然执行多次sess会报错
sess.run(tf.global_variables_initializer())

参考

  • 9
    点赞
  • 44
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值