Batch Normalization(BN)

N(0,1): 缓解效果差的初始化权重，帮助梯度流入深度网络层。BN让深度生成器开始学习，防止模式崩溃（所有的样本都生成到一个点，在生成对抗网络GAN里很常见）。但所有网络层都用BN会造成样本震荡和模型不稳定，所以在生成器的最后一层（输出层）和判别器的第一层（输入层）不要用BN。

1. 提高梯度流过网络

2. 允许更高的学习率

3. 减少初始化的依赖

4. 也可以看做是正则化的一种形式，减少用dropout的必要

   

tensorFlow代码如下：
import numpy as np
import tensorflow as tf
a = np.array([[1,1],[2,2]], dtype=np.float32)
a = np.reshape(a, [1,2,2,1])
x = tf.constant(a,dtype=tf.float32)
upsample_x = tf.layers.conv2d_transpose(x, 1, 3, strides=2, padding=‘same’, activation = tf.nn.relu,kernel_initializer=tf.ones_initializer())
batch1 = tf.layers.batch_normalization(upsample_x, training=True)
dropout1 = tf.nn.dropout(batch1,0.5)
with tf.Session() as sess:
tf.global_variables_initializer().run()
print(sess.run(upsample_x))
spliteLine = tf.constant(’*****************************************************’)
print(sess.run(spliteLine))
print(sess.run(batch1))
print(sess.run(spliteLine))