训练深度学习网络时,在损失函数上加上正则项是防止过拟合的一个重要方法,下面介绍如何在tensorflow中使用正则项。本文主要介绍了两种常用的加入正则化项的方法,分别对应两种不同的变量初始化方法。不论哪种方法,tensorflow中对参数使用正则化都分为两步。
1.创建一个正则化方法
2.将这个正则化方法应用到变量上
下面我们来分别介绍一下两种方法,看看这两步具体是怎么执行的。
第一种方法对应tf.get_variable()变量初始化方法。先来看一下tf.get_variable()函数。
tf.get_variable(
name,
shape=None,
dtype=None,
initializer=None,
regularizer=None,
...
)
可以看到有一个regularizer参数,该参数需要传入的实参,就是第一步中创建的正则化方法。具体怎么创建呢,往下看。
regularizer = tf.contrib.layers.l2_regularizer(scale=0.1) #scale代表正则化系数的值
tf中通过tf.contrib.layers.l2_regularizer()创建一个正则化方法,此处是L2正则化。创建完后,将该方法作为参数传入“regularizer”,就意味着该变量进行了L2正则化,经过这两步,就实现了L2正则化。
下面举一个具体的栗子,来看看tf.contrib.layers.l2_regularizer()究竟做了什么。
import tensorflow as tf
sess=tf.Session()
weight_decay=0.1
tmp=tf.constant([0,1,2,3],dtype=tf.float32)
l2_reg=tf.contrib.layers.l2_regularizer(weight_decay)
a=tf.get_variable("I_am_a",regularizer=l2_reg,initializer=tmp)
#上面代码的等价代码
'''
a=tf.get_variable("I_am_a",initializer=tmp)
a2=tf.reduce_sum(a*a)*weight_decay/2;
tf.add_to_collection(tf.GraphKeys.REGULARIZATION_LOSSES,a2)
'''
sess.run(tf.global_variables_initializer())
keys = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
for key in keys:
print(