tf.nn.l2_loss()的用法

l2_loss()这个函数的作用是利用L2范数来计算张量的误差值,但是没有开发并且只取L2范数的值的一半

函数:

tf.nn.l2_loss(

    t,

    name=None

)

参数:

t:一个张量(tensor),类型可以为:half, bfloat16, float32, float64

name:op的一个名字,即为这个操作取个名字

作用:不使用sqrt计算张量的L2范数的一半

输出:

一个tensor,数据类型和t相同,是一个标量

计算公式:

output = sum(t**2)/2

简单的可以理解成张量中的每一个元素进行平方,然后求和,最后乘一个1/2

 

l2_loss一般用于优化目标函数中的正则项,防止参数太多复杂容易过拟合(所谓的过拟合问题是指当一个模型很复杂时,它可以很好的“记忆”每一个训练数据中的随机噪声的部分而忘记了要去“学习”训练数据中通用的趋势)

 

例子:

#coding:utf-8

import tensorflow as tf

x = tf.constant([1,2,3],dtype=tf.float32)

with tf.Session() as sess:

    print(sess.run(tf.nn.l2_loss(x)))

 

结果输出:

7.0

计算的过程:

1/2(1**2+2**2+3**2) = 1/2(1+4+9) = 7.0

 

题外话:

正则化的基本思想是向损失函数添加一个惩罚项用于惩罚大的权重,隐式地减少自由参数的数量,所以可以达到弹性地适用不同数据量训练的要求而不产生过拟合的问题。

正则化方法是将惩罚因子加入到各层的参数或激活函数中。其实现位置通常是在模型的optimization里,在计算损失函数时将该惩罚因子加进去。

 

  • 14
    点赞
  • 38
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
tf.nn.l2_loss是一个在计算神经网络中的正则项时常用的函数。它可以计算给定张量t的L2范数的一半的平方。L2范数是指向量中各个元素的平方和的平方根。在神经网络中,L2正则化可以用来控制模型的复杂度,防止过拟合。具体来说,通过将L2范数的一半的平方加入到损失函数中,可以使得模型在训练过程中更加关注权重较小的特征,从而达到减少过拟合的效果。 另外,tf.nn.l2_loss并不是用于计算损失值的函数。在计算损失值时,常见的方法是使用tf.nn.softmax_cross_entropy_with_logits函数。这个函数可以计算预测结果与真实标签之间的交叉熵损失。交叉熵是用来衡量两个概率分布之间的差异的指标。通过将模型的预测结果和真实标签输入到tf.nn.softmax_cross_entropy_with_logits函数中,可以计算出模型的损失值。 综上所述,tf.nn.l2_loss函数用于计算给定张量的L2范数的一半的平方,而tf.nn.softmax_cross_entropy_with_logits函数用于计算模型的交叉熵损失值。这两个函数在神经网络中的正则化和损失计算中扮演着重要的角色。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [tensorflowloss损失函数tf.nn.l2_loss](https://blog.csdn.net/zz2230633069/article/details/81413138)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [TensorFlow tf.nn.softmax_cross_entropy_with_logits的用法](https://download.csdn.net/download/weixin_38560275/14850800)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [深度学习之损失函数](https://blog.csdn.net/sinat_32043495/article/details/78968156)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小杨算法屋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值