tensorflow 实现batch normol 和l2正则化。

L2正则化：

reg = tf.contrib.layers.apply_regularization(tf.contrib.layers.l2_regularizer(1e-4),         
                                             tf.trainable_variables())
loss = tf.losses.sparse_softmax_cross_entropy(labels=labels, logits=logits)+reg

BN：

BN:

bn的layers实现函数：

步骤一：
  添加tf.layers.batch_normalization(input,training=is_trainning)层，训练的时候training设置为true,测试的时候为false.添加位置：激活函数前或着后，目前两种加法没有定论谁更好。

步骤二：

    训练时需要更新BN中滑动均值和滑动方差两个变量（根据各批次均值和方差计算得来）

update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
with tf.control_dependencies(update_ops):
    train_op = optimizer.minimize(loss)

步骤三：

    保存BN中滑动均值和滑动方差两个变量。保存模型时默认保存的可训练变量，因此需要单独添加滑动均值和滑动方差两个变量进行保存（也可直接保存全部变量）

var_list = tf.trainable_variables()
g_list = tf.global_variables()
bn_moving_vars = [g for g in g_list if 'moving_mean' in g.name]
bn_moving_vars += [g for g in g_list if 'moving_variance' in g.name]
var_list += bn_moving_vars
saver = tf.train.Saver(var_list=var_list,max_to_keep=5)