一文理清L1 loss、L2 loss、smooth L1 loss原理与区别

最新推荐文章于 2025-03-19 10:50:09 发布
最新推荐文章于 2025-03-19 10:50:09 发布
阅读量1.6w 收藏 121
点赞数 24
分类专栏： 深度学习知识 文章标签： 机器学习 损失函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42310154/article/details/119938856
版权

文章目录

L1 loss

L1 loss常用别称：

  • L1范数损失
  • 最小绝对偏差（LAD）
  • 平均绝对值误差（MAE）
    在这里插入图片描述
    其中，yi是真实值，f(xi)是预测值，n是样本点个数

优缺点？

  • 优点：无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解
  • 缺点：在中心点是折点，不能求导，梯度下降时要是恰好学习到w=0就没法接着进行了

什么时候使用？

  1. 回归任务
  2. 简单模型
  3. 神经网络通常比较复杂，直接使用L1 loss作为损失函数的非常少

L2 loss

L2 loss常用别称：

  • L2范数损失
  • 最小均方误差（LSE）
  • 均方误差（MSE）
    在这里插入图片描述
    其中，yi是真实值，f(xi)是预测值࿰
最低0.47元/天 解锁文章
机器学习中的 L1,L2 loss分别是什么
大西瓜不甜的博客
04-21 4876
一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能...
一文理清 JavaScript 中对象的创建模式与继承模式
01-08
一文理清 JavaScript 中对象的创建模式与继承模式 文章目录一文理清 JavaScript 中对象的创建模式与继承模式一、前言 :1. 写作目的2. 需要具备的知识点3. 阅前声明二、JavaScript 中对象的创建模式1. ( 单例模式 ) ...
L1损失（MAE）、L2损失（MSE）
热门推荐
Drug discovery
06-05 3万+
目录 均绝对误差(L1Loss) 均方误差MSE (L2 Loss) MSE和MAE的选择 总结 均绝对误差(L1Loss) 均绝对误差（Mean Absolute Error,MAE) 是指模型预测值f(x)和真实值y之间距离的均值，其公式如下： 忽略下标i，设n=1，以f(x)−y为横轴，MAE的值为纵轴，得到函数的图形如下： MAE曲线连续，但是在y−f(x)=0处不可导。而且 MAE 大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛...
L1 Loss 和 L2 Loss
最新发布
m0_64254014的博客
03-19 217
L1 Loss 和 L2 Loss 是深度学习中常用的损失函数，用于衡量模型预测值与真实值之间的差异。
损失函数L1Loss、L2loss区别
weixin_51293984的博客
04-07 727
平均绝对误差（Mean Absolute Error，MAE）预测值和真实值之差的绝对值。
深度学习之L1 loss和L2 loss的区别
AndyJ的学习之旅
05-08 2万+
L1 loss和L2 loss的区别？ L1 loss: L2 loss: smooth L1 loss: l1 loss在零点不平滑，用的较少。一般来说，l1正则会制造稀疏的特征，大部分无用的特征的权重会被置为0。 （适合回归任务，简单的模型，由于神经网络通常解决复杂问题，很少使用。） smooth l1 loss修改零点不平滑问题，L1-smooth比l2 loss对异常值的鲁棒...
L1 loss与L2 loss对比分析
like_jmo的博客
10-11 1498
L1 loss 均绝对误差函数（MEAN Absolute Error） 描述模型预测值和真实值之间距离的均值 MAE连续，但是在y-ƒ(x)=0处不可导。并且可以看到MAE的梯度为±1，对于函数的极小值其附近梯度不变，这非常不利于模型训练。但正因如此，对于异常值，并没有太大影响（因为MAE计算的是误差绝对值，其惩罚是固定的）所以健壮性更好。 L2 loss均方误差函数（MEAN Square Error） 描述模型预测值和真实值之间差值平方的均值 MSE也...
深度学习中常见的损失函数（L1Loss、L2loss）
qq_37925923的博客
10-17 2万+
损失函数
一文理清国有企业董事会、经理层决策重大问题的前置程序时的权责边界.pdf
11-13
一文理清国有企业董事会、经理层决策重大问题的前置程序时的权责边界.pdf
损失函数之-----L1 loss和L2 loss和smooth L1 loss -----用于回归任务
ZJE
09-08 1万+
1. L1 loss： 公式和求导公式： （带绝对值求导时，先去掉绝对值符号，再分情况求导） 一个batch的形式： L1 loss 图形和求导图形如下： 图的底部是预测值和label的差值。 我们可以看到L1 loss的底部是尖的。底部是不存在导数的。而在其他地方，导数大小都是一样的。 优缺点： 优点： 1. L1 loss的鲁棒性(抗干扰性)比L2 loss...
【学习】L1 loss 和 L2 loss
qq_37367581的博客
11-25 1万+
转载自：https://zhuanlan.zhihu.com/p/48426076?utm_source=com.tencent.tim&utm_medium=social&utm_oi=1050165363714682880 对于大多数CNN网络，我们一般是使用L2-loss而不是L1-loss，因为L2-loss的收敛速度要比L1-loss要快得多。 对于边框预测回归问...
L1 Loss VS L2 loss（MSE Loss）对比
子燕若水的博客
03-28 3242
L1损失和MSE(L2)损失的主要区别是，L1损失测量的是预测值和实际值之间的绝对差值，而MSE损失测量的是预测值和实际值之间的平方差值。这意味着L1损失对离群值更加稳健，因为绝对值函数对所有的错误都一视同仁，而MSE损失由于是平方运算，对较大的错误给予更多的权重。总之，L1损失和MSE损失是衡量回归问题中预测值和实际值之间误差的两种不同方式，L1损失对离群值更加稳健，MSE损失对较大的误差给予更多的权重。
深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR
qq_40280673的博客
11-08 2万+
在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。
L1 loss 和 L2 loss
weixin_33858485的博客
07-25 455
L1 和 L2 loss 有什么区别。 L1 我理解成 1 维向量的距离。假设只有一个座标轴，上面每一个点都有一个 x 座标。现在需要求 x1 , x2 两个点的距离。很简单吧，距离就是： |x1-x2| 。 loss function 计算网络残差就是所有预测值跟 label 距离求和。 l1 = sigma( | x1 - x...
l1 l2 loss
weixin_34066347的博客
08-23 160
衡量预测值与真实值的偏差程度的最常见的loss： 误差的L1范数和L2范数 因为L1范数在误差接近0的时候不平滑，所以比较少用到这个范数 L2范数的缺点是当存在离群点（outliers)的时候，这些点会占loss的主要组成部分。比如说真实值为1，预测10次，有一次预测值为1000，其余次的预测值为1左右，显然loss值主要由1000主宰。...
L1 loss 和 L2 loss 比较
ls83776736的博客
07-10 1万+
1、L1 loss 在零点不平滑，用的较少  2、Smooth L1 Loss 修改零点不平滑问题  3、L2 loss：对离群点比较敏感，如果feature 是 unbounded的话，需要好好调整学习率，防止出现梯度爆炸的情况[fast rcnn]   4、一般来说，L1正则会制造稀疏的特征，大部分无用特征的权重会被置为0。 L2正则会让特征的权重不过大，使得特征的权重比较平均。 5、...
L1、L2正则VS L1、L2 loss
JJprincess的博客
05-14 4860
 1.L1、L2正则——参数空间       L1范数表达式为：，L2范数表达式：L1正则（上图左），使得某些特征量变为0，因此具有稀疏性，可用于特征选择；L2正则（上图右），整体压缩特征向量，使用较广。2.  L1、L2损失——loss函数Smooth L1是L1的变形，用于Faster RCNN、SSD等网络计算损失，比较上图绿色曲线和红色曲线，我们可以看到绿色曲线（Smooth L1）的变化...
目标检测：一文读懂yolov5loss原理
09-03
Yolov5 是一种广泛应用于目标检测的算法，其 loss 原理相对简单。Yolov5 通过将目标检测问题转化为一个回归问题，通过预测 bounding box 的坐标来实现目标检测。 Yolov5 的 loss 主要包括三个部分：分类损失、定位损失和目标置信度损失。 分类损失是用来衡量预测的类别与真实类别之间的差异。Yolov5 使用交叉熵损失函数来计算分类损失。对于每个边界框（bounding box），它将计算预测类别的 softmax 概率与真实类别的 one-hot 向量之间的交叉熵。 定位损失用于衡量预测的边界框位置与真实边界框位置之间的差异。Yolov5 使用 Smooth L1 损失函数来计算定位损失。它通过对预测边界框的坐标与真实边界框的坐标之间进行平滑处理，减小了异常值的影响。 目标置信度损失用于衡量预测的边界框与真实边界框之间的 IoU（Intersection over Union）之间的差异。Yolov5 使用 Binary Cross-Entropy 损失函数来计算目标置信度损失。它将预测的边界框是否包含目标与真实边界框是否包含目标之间的差异进行衡量。 最终，Yolov5 的总损失是通过将三个部分的损失加权求和得到的。这些权重可以根据具体的任务和数据集进行调整。 通过最小化 Yolov5 的 loss 函数，模型可以学习到更准确的目标检测结果。这样，我们就可以在图像中准确地检测和定位不同类别的目标。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值