一文理清L1 loss、L2 loss、smooth L1 loss原理与区别

最新推荐文章于 2025-04-18 12:18:36 发布
最新推荐文章于 2025-04-18 12:18:36 发布
阅读量1.7w 收藏 121
点赞数 24
分类专栏： 深度学习知识 文章标签： 机器学习 损失函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42310154/article/details/119938856
版权

文章目录

L1 loss

L1 loss常用别称：

  • L1范数损失
  • 最小绝对偏差（LAD）
  • 平均绝对值误差（MAE）
    在这里插入图片描述
    其中，yi是真实值，f(xi)是预测值，n是样本点个数

优缺点？

  • 优点：无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解
  • 缺点：在中心点是折点，不能求导，梯度下降时要是恰好学习到w=0就没法接着进行了

什么时候使用？

  1. 回归任务
  2. 简单模型
  3. 神经网络通常比较复杂，直接使用L1 loss作为损失函数的非常少

L2 loss

L2 loss常用别称：

  • L2范数损失
  • 最小均方误差（LSE）
  • 均方误差（MSE）
    在这里插入图片描述
    其中，yi是真实值，f(xi)是预测值࿰
最低0.47元/天 解锁文章
损失函数(Loss Function)一文详解-聚类问题常见损失函数Python代码实现+计算原理解析
master_hunter的博客
11-02 5539
在聚类问题中，我们试图将数据集分成不同的组（簇），使得每个组内的数据点相似度较高，而不同组之间的相似度较低。聚类问题的目标是找到合适的簇划分，以最大程度地减小组内的差异，同时最大程度地增大组间的差异。在聚类问题中，并没有像监督学习中那样明确定义的损失函数，因为聚类问题通常是无监督学习，没有预先定义的目标变量。而聚类问题的损失函数通常用于度量簇划分的质量，并提供一种可优化的指标来衡量聚类结果的好坏。损失函数度量了每个簇内数据点的相似度，即簇内数据点之间的相似程度。
机器学习中的 L1,L2 loss分别是什么
大西瓜不甜的博客
04-21 4904
一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能...
L1 Loss 和 L2 Loss
m0_64254014的博客
03-19 435
L1 Loss 和 L2 Loss 是深度学习中常用的损失函数，用于衡量模型预测值与真实值之间的差异。
回归损失函数：L1 Loss，L2 Loss与Smooth L1 Loss的对比
最新发布
jyh6122的博客
04-18 1341
对于大多数CNN网络，我们一般是使用L2-loss而不是L1-loss，因为L2-loss的收敛速度要比L1-loss要快得多。对于边框预测回归问题，通常也可以选择平方损失函数（L2损失），但L2范数的缺点是当存在离群点（outliers)的时候，这些点会占loss的主要组成部分。比如说真实值为1，预测10次，有一次预测值为1000，其余次的预测值为1左右，显然loss值主要由1000决定。所以FastRCNN采用稍微缓和一点绝对损失函数（smooth L1损失），它是随着误差线性增长，而不是平方增长。
损失函数L1Loss、L2loss区别
weixin_51293984的博客
04-07 790
平均绝对误差（Mean Absolute Error，MAE）预测值和真实值之差的绝对值。
深度学习之L1 loss和L2 loss的区别
AndyJ的学习之旅
05-08 2万+
L1 loss和L2 loss的区别？ L1 loss: L2 loss: smooth L1 loss: l1 loss在零点不平滑，用的较少。一般来说，l1正则会制造稀疏的特征，大部分无用的特征的权重会被置为0。 （适合回归任务，简单的模型，由于神经网络通常解决复杂问题，很少使用。） smooth l1 loss修改零点不平滑问题，L1-smooth比l2 loss对异常值的鲁棒...
L1 loss与L2 loss对比分析
like_jmo的博客
10-11 1528
L1 loss 均绝对误差函数（MEAN Absolute Error） 描述模型预测值和真实值之间距离的均值 MAE连续，但是在y-ƒ(x)=0处不可导。并且可以看到MAE的梯度为±1，对于函数的极小值其附近梯度不变，这非常不利于模型训练。但正因如此，对于异常值，并没有太大影响（因为MAE计算的是误差绝对值，其惩罚是固定的）所以健壮性更好。 L2 loss均方误差函数（MEAN Square Error） 描述模型预测值和真实值之间差值平方的均值 MSE也...
深度学习中常见的损失函数（L1Loss、L2loss）
qq_37925923的博客
10-17 2万+
损失函数
损失函数之-----L1 loss和L2 loss和smooth L1 loss -----用于回归任务
ZJE
09-08 1万+
1. L1 loss： 公式和求导公式： （带绝对值求导时，先去掉绝对值符号，再分情况求导） 一个batch的形式： L1 loss 图形和求导图形如下： 图的底部是预测值和label的差值。 我们可以看到L1 loss的底部是尖的。底部是不存在导数的。而在其他地方，导数大小都是一样的。 优缺点： 优点： 1. L1 loss的鲁棒性(抗干扰性)比L2 loss...
【学习】L1 loss 和 L2 loss
qq_37367581的博客
11-25 1万+
转载自：https://zhuanlan.zhihu.com/p/48426076?utm_source=com.tencent.tim&utm_medium=social&utm_oi=1050165363714682880 对于大多数CNN网络，我们一般是使用L2-loss而不是L1-loss，因为L2-loss的收敛速度要比L1-loss要快得多。 对于边框预测回归问...
L1 Loss VS L2 loss（MSE Loss）对比
子燕若水的博客
03-28 3308
L1损失和MSE(L2)损失的主要区别是，L1损失测量的是预测值和实际值之间的绝对差值，而MSE损失测量的是预测值和实际值之间的平方差值。这意味着L1损失对离群值更加稳健，因为绝对值函数对所有的错误都一视同仁，而MSE损失由于是平方运算，对较大的错误给予更多的权重。总之，L1损失和MSE损失是衡量回归问题中预测值和实际值之间误差的两种不同方式，L1损失对离群值更加稳健，MSE损失对较大的误差给予更多的权重。
深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR
qq_40280673的博客
11-08 3万+
在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。
L1 loss 和 L2 loss
weixin_33858485的博客
07-25 461
L1 和 L2 loss 有什么区别。 L1 我理解成 1 维向量的距离。假设只有一个座标轴，上面每一个点都有一个 x 座标。现在需要求 x1 , x2 两个点的距离。很简单吧，距离就是： |x1-x2| 。 loss function 计算网络残差就是所有预测值跟 label 距离求和。 l1 = sigma( | x1 - x...
l1 l2 loss
weixin_34066347的博客
08-23 163
衡量预测值与真实值的偏差程度的最常见的loss： 误差的L1范数和L2范数 因为L1范数在误差接近0的时候不平滑，所以比较少用到这个范数 L2范数的缺点是当存在离群点（outliers)的时候，这些点会占loss的主要组成部分。比如说真实值为1，预测10次，有一次预测值为1000，其余次的预测值为1左右，显然loss值主要由1000主宰。...
L1 loss 和 L2 loss 比较
ls83776736的博客
07-10 1万+
1、L1 loss 在零点不平滑，用的较少  2、Smooth L1 Loss 修改零点不平滑问题  3、L2 loss：对离群点比较敏感，如果feature 是 unbounded的话，需要好好调整学习率，防止出现梯度爆炸的情况[fast rcnn]   4、一般来说，L1正则会制造稀疏的特征，大部分无用特征的权重会被置为0。 L2正则会让特征的权重不过大，使得特征的权重比较平均。 5、...
L1损失（MAE）、L2损失（MSE）
热门推荐
Drug discovery
06-05 3万+
目录 均绝对误差(L1Loss) 均方误差MSE (L2 Loss) MSE和MAE的选择 总结 均绝对误差(L1Loss) 均绝对误差（Mean Absolute Error,MAE) 是指模型预测值f(x)和真实值y之间距离的均值，其公式如下： 忽略下标i，设n=1，以f(x)−y为横轴，MAE的值为纵轴，得到函数的图形如下： MAE曲线连续，但是在y−f(x)=0处不可导。而且 MAE 大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛...
L1、L2正则VS L1、L2 loss
JJprincess的博客
05-14 4896
 1.L1、L2正则——参数空间       L1范数表达式为：，L2范数表达式：L1正则（上图左），使得某些特征量变为0，因此具有稀疏性，可用于特征选择；L2正则（上图右），整体压缩特征向量，使用较广。2.  L1、L2损失——loss函数Smooth L1是L1的变形，用于Faster RCNN、SSD等网络计算损失，比较上图绿色曲线和红色曲线，我们可以看到绿色曲线（Smooth L1）的变化...
【深度学习】L1损失、L2损失、L1正则化、L2正则化
码农努力学习
01-18 2032
稀疏性：很多参数值为0LLWλ∑i1p∣wi∣∂L∂wi∂LW∂wiλ⋅signwiwiwi−lr∗∂L∂wj−lr∗λsignwiLLWλi1∑p​∣wi​∣∂wi​∂L​∂wi​∂LW​λ⋅signwi​wi​wi​−lr∗∂wj​∂L​−lr∗λsignwi​∂LW∂w。
L1和L2损失函数的区别
qq_41327049的博客
03-21 754
误差处理方式：L1损失函数计算的是模型预测值与真实值之间的绝对误差的平均值，而L2损失函数计算的是这些误差的平方的平均值。而L2损失函数则会对误差进行平方处理，这意味着较大的误差会被放大，从而在损失函数中产生更大的影响。对异常值的敏感性：由于L1损失函数取的是绝对误差，因此它对异常值（即远离其他数据点的值）的惩罚是固定的，不会被放大。而L2损失函数在异常值出现时，由于其平方特性，会导致损失函数值变得非常大，从而可能使模型训练受到异常值的强烈影响。因此，当数据集中存在异常值时，L1损失函数通常更为鲁棒。
目标检测：一文读懂yolov5loss原理
09-03
Yolov5 是一种广泛应用于目标检测的算法，其 loss 原理相对简单。Yolov5 通过将目标检测问题转化为一个回归问题，通过预测 bounding box 的坐标来实现目标检测。 Yolov5 的 loss 主要包括三个部分：分类损失、定位...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值