Tensorflow batch_normalization的使用

 

 

 

tensorflow使用不同的activation, 会出现一些不一样的情况，以下为 tanh方式时，有无batch_normalization 出现的情况：

ACTIVATION = tf.nn.tanh

 

 

可以看出, 没有 batch_normalization, 每层的值迅速全部都饱和, 都跑去了 -1/1 这个饱和区间, 有 batch_normalization, 即使前一层因变得相对饱和, 但是后面几层的值都被 normalize 到有效的不饱和区间内计算. 确保了一个活的神经网络.

所以使用batch_normalization是很有必要的。

下面为具体使用方式：

 

if norm:   判断是否BN
   fc_mean,fc_var = tf.nn.moments(Wx_puls_b,
     axes = [0])   #想要normalize的维度， [0] 代表batch 的维度
                   #图像数据， 可以传入 [0 ,1, 2], 相当于 [batch , height, weight]

   scale = tf.Variable(tf.ones[out_size])
   shift = tf,Variable(tf.zeros[out_size])
   epsilon  =0.001
   Wx_plus_b =tf.nn.batch_normalization((Wx_puls_b, fc_mean,fc_var,scale, shift, epsilon) 
   # 这句话可以换成以下两句：
   # Wx_plus_b = (Wx_plus_b - fc_mean) / tf.sqrt(fc_var + 0.001)
   # Wx_plus_b = Wx_plus_b * scale + shift