tensorflow使用不同的activation, 会出现一些不一样的情况,以下为 tanh方式时,有无batch_normalization 出现的情况:
ACTIVATION = tf.nn.tanh
可以看出, 没有 batch_normalization, 每层的值迅速全部都饱和, 都跑去了 -1/1 这个饱和区间, 有 batch_normalization, 即使前一层因变得相对饱和, 但是后面几层的值都被 normalize 到有效的不饱和区间内计算. 确保了一个活的神经网络.
所以使用batch_normalization是很有必要的。
下面为具体使用方式:
if norm: 判断是否BN
fc_mean,fc_var = tf.nn.moments(Wx_puls_b,
axes = [0]) #想要normalize的维度, [0] 代表batch 的维度
#图像数据, 可以传入 [0 ,1, 2], 相当于 [batch , height, weight]
scale = tf.Variable(tf.ones[out_size])
shift = tf,Variable(tf.zeros[out_size])
epsilon =0.001
Wx_plus_b =tf.nn.batch_normalization((Wx_puls_b, fc_mean,fc_var,scale, shift, epsilon)
# 这句话可以换成以下两句:
# Wx_plus_b = (Wx_plus_b - fc_mean) / tf.sqrt(fc_var + 0.001)
# Wx_plus_b = Wx_plus_b * scale + shift