[Tensorflow]L2正则化和collection【tf.GraphKeys】

vcvycy

于 2017-11-22 10:52:13 发布

阅读量1.4w

点赞数 5

本文链接：https://blog.csdn.net/vcvycy/article/details/78597350

版权

本文介绍了如何在TensorFlow中使用L2正则化，强调了将参数组织到集合中以方便计算损失的重要性。同时详细阐述了tf.GraphKeys的作用，包括默认的GLOBAL_VARIABLES集合以及如何创建和使用自定义集合。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

L2-Regularization 实现的话，需要把所有的参数放在一个集合内，最后计算loss时，再减去加权值。

相比自己乱搞，代码一团糟，Tensorflow 提供了更优美的实现方法。

一、tf.GraphKeys ：多个包含Variables(Tensor)集合

（1）GLOBAL_VARIABLES：使用tf.get_variable()时，默认会将vairable放入这个集合。

我们熟悉的tf.global_variables_initializer()就是初始化这个集合内的Variables。

import tensorflow as tf
sess=tf.Session()
a=tf.get_variable("a",[3,3,32,64],initializer=tf.random_normal_initializer())
b=tf.get_variable("b",[64],initializer=tf.random_normal_initializer())
#collections=None等价于 collection=[tf.GraphKeys.GLOBAL_VARIABLES]

gv= tf.get_collection(tf.