Tensorflow 在损失函数中加入正则项(Normalization)

最新推荐文章于 2022-06-13 19:41:22 发布

hiptonese

最新推荐文章于 2022-06-13 19:41:22 发布

阅读量1.1w

点赞数 2

本文链接：https://blog.csdn.net/u012560212/article/details/73000740

版权

本文介绍了L1和L2正则化在TensorFlow中的应用，通过添加正则项来调整权重，L1有助于产生稀疏权重，L2则使权重更接近0，从而防止过拟合，增强模型的泛化能力。并展示了如何在TensorFlow中计算这两种正则化的具体方法。

摘要由CSDN通过智能技术生成

L1和L2正则：

举例说明，假设有一个数组 nums=[1,2,3,4]

L1 = a*(|1|+|2|+|3|+|4|)

L2 = a*(1^2+2^2+3^2+4^2)/2

其中a是系数，用于平衡正则项与经验损失函数的权重关系，即：C = loss+a*Normalization。

这里说明一下，利用L1经过训练后，会让权重得到稀疏结，即权重中的一部分项为0，这种作用相当于对原始数据进行了特征选择；利用L2进行训练后，会让权重更趋于0，但不会得到稀疏解，这样做可以避免某些权重过大；两种正则做法都可以减轻过拟合，使训练结果更加具有鲁棒性。

下面给出使用TensorFlow计算L1,L2的方法。

import tensorflow as tf
alpha = 0.5 #系数设置为0.5，alpha相当于上述a
val = tf.constant([[1,2],[3,4]],dtype=tf.float32)
l1 = tf.contrib.layers.l1_regularizer(alpha)(val)
l2 = tf.contrib.layers.l2_regularizer(alpha)(val)
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print ("l1:",sess.run(l1))
    print ("l2:",sess.run(l2))

下面给出使用TensorFlow的整体训练过程：