tensorflow中的正则化函数在_Tensorflow中实现正则化

训练深度学习网络时，在损失函数上加上正则项是防止过拟合的一个重要方法，下面介绍如何在tensorflow中使用正则项。本文主要介绍了两种常用的加入正则化项的方法，分别对应两种不同的变量初始化方法。不论哪种方法，tensorflow中对参数使用正则化都分为两步。

1.创建一个正则化方法

2.将这个正则化方法应用到变量上

下面我们来分别介绍一下两种方法，看看这两步具体是怎么执行的。

第一种方法对应tf.get_variable()变量初始化方法。先来看一下tf.get_variable()函数。

tf.get_variable(

name,

shape=None,

dtype=None,

initializer=None,

regularizer=None,

...

)

可以看到有一个regularizer参数，该参数需要传入的实参，就是第一步中创建的正则化方法。具体怎么创建呢，往下看。

regularizer = tf.contrib.layers.l2_regularizer(scale=0.1) #scale代表正则化系数的值

tf中通过tf.contrib.layers.l2_regularizer()创建一个正则化方法，此处是L2正则化。创建完后，将该方法作为参数传入“regularizer”，就意味着该变量进行了L2正则化，经过这两步，就实现了L2正则化。

下面举一个具体的栗子，来看看tf.contrib.layers.l2_regularizer()究竟做了什么。

import tensorflow as tf

sess=tf.Session()

weight_decay=0.1

tmp=tf.constant([0,1,2,3],dtype=tf.float32)

l2_reg=tf.contrib.layers.l2_regularizer(weight_decay)

a=tf.get_variable("I_am_a",regularizer=l2_reg,initializer=tmp)

#上面代码的等价代码

'''

a=tf.get_variable("I_am_a",initializer=tmp)

a2=tf.reduce_sum(a*a)*weight_decay/2;

tf.add_to_collection(tf.GraphKeys.REGULARIZATION_LOSSES,a2)

'''

sess.run(tf.global_variables_initializer())

keys = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)

for key in keys:

print(