L1 loss与L2 loss对比分析

最新推荐文章于 2024-04-07 19:44:30 发布
最新推荐文章于 2024-04-07 19:44:30 发布
阅读量1.4k 收藏 3
点赞数 2
分类专栏： 边学边记 文章标签： 机器学习 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/like_jmo/article/details/120709926
版权
本文探讨了均绝对误差(MAE)、均方误差(MSE)和光滑L1损失(SmoothL1loss)在衡量模型预测与真实值差距上的特点，比较了它们在连续性、可导性、异常值处理及梯度稳定性方面的区别，对模型训练的影响和适用场景进行解析。
摘要由CSDN通过智能技术生成
L1 loss 均绝对误差函数（MEAN Absolute Error）
描述模型预测值f(x^{_{i}})和真实值y_{i}之间距离的均值​​​​​​​​​​​​​​
​​​​​​​  

MAE连续，但是在y-ƒ(x)=0处不可导。并且可以看到MAE的梯度为±1，对于函数的极小值其附近梯度不变，这非常不利于模型训练。但正因如此，对于异常值，并没有太大影响（因为MAE计算的是误差绝对值，其惩罚是固定的）所以健壮性更好。

L2 loss均方误差函数（MEAN Square Error）
描述模型预测值f(x^{_{i}})和真实值y_{i}之间差值平方的均值 

MSE也是连续的，并且光滑，处处可导，随着误差的减小，梯度也在减小，有利于函数的收敛。由公示可以看出，当 y-f(x)也就是误差大于1时，会给予较大的惩罚，当误差小于1时会给予较小的惩罚。所以如果存在异常值，那么整体会收到比较大的影响。

 

Smooth L1 loss均方误差函数（MEAN Square Error）​​​​​​​

Smooth L1 loss就是L1 loss与L2 loss的结合。
当误差小于1时，损失函数比L1 loss平滑，不至于梯度过大。
当误差大于1时，损失函数没有L2 loss那么爆炸，梯度比较稳定。
​​​​​​​

 

 

CV小Rookie
关注
专栏目录
【AI面试】回归损失横评：L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化、IOU loss系列
钱多多先森
05-03 2093
损失函数是深度学习模型优化的一个灵魂基础，所以无论是很新的transform模型，还是比较早期的AlexNet，都不可避免的要涉及到损失函数的设计和应用。 所以，各种形形色色的损失函数（Loss）也就成了面试场上，不经意间就会被牵扯到的问题。 其中，目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。本次我们着重关注BoundingBox Loss 目标检测回归损失，之后有时间我们关注分类等损失函数。 1. L1 loss、
L1, L2以及smooth L1 loss
yang_daxia的博客
06-10 1万+
在机器学习实践中，你也许需要在神秘的L1和L2中做出选择。通常的两个决策为：1) L1范数 vs L2范数 的损失函数； 2) L1正则化 vs L2正则化。 作为损失函数   L1范数损失函数，也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。总的说来，它是把目标值（YiYi）与估计值（f(xi)f(xi)）的绝对差值的总和（SS）最小化： S=∑i=1n|Yi−f(xi)...
机器学习中的 L1,L2 loss分别是什么
大西瓜不甜的博客
04-21 4740
一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能...
深度学习之L1 loss和L2 loss的区别
AndyJ的学习之旅
05-08 2万+
L1 loss和L2 loss的区别？ L1 loss: L2 loss: smooth L1 loss: l1 loss在零点不平滑，用的较少。一般来说，l1正则会制造稀疏的特征，大部分无用的特征的权重会被置为0。 （适合回归任务，简单的模型，由于神经网络通常解决复杂问题，很少使用。） smooth l1 loss修改零点不平滑问题，L1-smooth比l2 loss对异常值的鲁棒...
损失函数L1Loss、L2loss区别
最新发布
weixin_51293984的博客
04-07 491
平均绝对误差（Mean Absolute Error，MAE）预测值和真实值之差的绝对值。
l1 l2 loss
weixin_34066347的博客
08-23 136
衡量预测值与真实值的偏差程度的最常见的loss： 误差的L1范数和L2范数 因为L1范数在误差接近0的时候不平滑，所以比较少用到这个范数 L2范数的缺点是当存在离群点（outliers)的时候，这些点会占loss的主要组成部分。比如说真实值为1，预测10次，有一次预测值为1000，其余次的预测值为1左右，显然loss值主要由1000主宰。...
深度学习中常见的损失函数（L1Loss、L2loss）
qq_37925923的博客
10-17 2万+
损失函数
L1 loss VS L2 loss； L1 regularization VS L2 regularization
Huiyu Blog
11-22 807
L1 和L2 既可以作为 loss function 也可以作为 reguarization L1 loss VS L2 loss 公式 比较 鲁棒性：L1 更鲁棒，因为L2 的误差会平方增长。当存在离群点（outliers)的时候，这些点会占loss的主要组成部分, 使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸.。 稳定性（数据集的一个小的移动）：L2 是比L1 具有更好的性质。 收敛...
回归问题常用损失函数L1Loss、L2Loss、SmoothL1Loss
weixin_44104200的博客
04-16 2647
L1范数误差(L1 loss) 代表：MAE(Mean Absolute Error, 均绝对误差)。即估计值f(x)f(x)f(x)与真实值yyy之间距离的均值。 MAE=1n∑i=1n∣f(xi)−yi∣MAE=\frac{1}{n}\sum_{i=1}^n|f(x_i)-y_i|MAE=n1​i=1∑n​∣f(xi​)−yi​∣ 优点 无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。 对于离群点不那么敏感。因为MAEMAEMAE计算的是误差y−f(x)y−f(x)
一文理清L1 loss、L2 loss、smooth L1 loss原理与区别
风中一匹狼的博客
08-29 1万+
L1 loss L2 loss smooth L1 loss
L1 loss 和 L2 loss 比较
ls83776736的博客
07-10 1万+
1、L1 loss 在零点不平滑，用的较少  2、Smooth L1 Loss 修改零点不平滑问题  3、L2 loss：对离群点比较敏感，如果feature 是 unbounded的话，需要好好调整学习率，防止出现梯度爆炸的情况[fast rcnn]   4、一般来说，L1正则会制造稀疏的特征，大部分无用特征的权重会被置为0。 L2正则会让特征的权重不过大，使得特征的权重比较平均。 5、...
L1损失（MAE）、L2损失（MSE）
热门推荐
MOL
06-05 3万+
目录 均绝对误差(L1Loss) 均方误差MSE (L2 Loss) MSE和MAE的选择 总结 均绝对误差(L1Loss) 均绝对误差（Mean Absolute Error,MAE) 是指模型预测值f(x)和真实值y之间距离的均值，其公式如下： 忽略下标i，设n=1，以f(x)−y为横轴，MAE的值为纵轴，得到函数的图形如下： MAE曲线连续，但是在y−f(x)=0处不可导。而且 MAE 大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛...
【学习】L1 loss 和 L2 loss
qq_37367581的博客
11-25 1万+
转载自：https://zhuanlan.zhihu.com/p/48426076?utm_source=com.tencent.tim&utm_medium=social&utm_oi=1050165363714682880 对于大多数CNN网络，我们一般是使用L2-loss而不是L1-loss，因为L2-loss的收敛速度要比L1-loss要快得多。 对于边框预测回归问...
L1 loss 和 L2 loss
weixin_33858485的博客
07-25 429
L1 和 L2 loss 有什么区别。 L1 我理解成 1 维向量的距离。假设只有一个座标轴，上面每一个点都有一个 x 座标。现在需要求 x1 , x2 两个点的距离。很简单吧，距离就是： |x1-x2| 。 loss function 计算网络残差就是所有预测值跟 label 距离求和。 l1 = sigma( | x1 - x...
L1和L2损失函数的区别
qq_41327049的博客
03-21 541
误差处理方式：L1损失函数计算的是模型预测值与真实值之间的绝对误差的平均值，而L2损失函数计算的是这些误差的平方的平均值。而L2损失函数则会对误差进行平方处理，这意味着较大的误差会被放大，从而在损失函数中产生更大的影响。对异常值的敏感性：由于L1损失函数取的是绝对误差，因此它对异常值（即远离其他数据点的值）的惩罚是固定的，不会被放大。而L2损失函数在异常值出现时，由于其平方特性，会导致损失函数值变得非常大，从而可能使模型训练受到异常值的强烈影响。因此，当数据集中存在异常值时，L1损失函数通常更为鲁棒。
损失函数之-----L1 loss和L2 loss和smooth L1 loss -----用于回归任务
ZJE
09-08 1万+
1. L1 loss： 公式和求导公式： （带绝对值求导时，先去掉绝对值符号，再分情况求导） 一个batch的形式： L1 loss 图形和求导图形如下： 图的底部是预测值和label的差值。 我们可以看到L1 loss的底部是尖的。底部是不存在导数的。而在其他地方，导数大小都是一样的。 优缺点： 优点： 1. L1 loss的鲁棒性(抗干扰性)比L2 loss...
深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR
qq_40280673的博客
11-08 1万+
在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。
L1、L2正则VS L1、L2 loss
JJprincess的博客
05-14 4777
 1.L1、L2正则——参数空间       L1范数表达式为：，L2范数表达式：L1正则（上图左），使得某些特征量变为0，因此具有稀疏性，可用于特征选择；L2正则（上图右），整体压缩特征向量，使用较广。2.  L1、L2损失——loss函数Smooth L1是L1的变形，用于Faster RCNN、SSD等网络计算损失，比较上图绿色曲线和红色曲线，我们可以看到绿色曲线（Smooth L1）的变化...
L1 Loss VS L2 loss（MSE Loss）对比
子燕若水的博客
03-28 2820
L1损失和MSE(L2)损失的主要区别是，L1损失测量的是预测值和实际值之间的绝对差值，而MSE损失测量的是预测值和实际值之间的平方差值。这意味着L1损失对离群值更加稳健，因为绝对值函数对所有的错误都一视同仁，而MSE损失由于是平方运算，对较大的错误给予更多的权重。总之，L1损失和MSE损失是衡量回归问题中预测值和实际值之间误差的两种不同方式，L1损失对离群值更加稳健，MSE损失对较大的误差给予更多的权重。
L2 Loss和L1 Loss有什么区别？
01-09
与L2 Loss相比，L1 Loss对离群点不敏感，它的梯度在离群点处是常数，不会出现梯度爆炸的问题。 总结一下，L2 Loss和L1 Loss的区别主要体现在计算方式和对离群点的敏感程度上。L2 Loss通过平方差来计算预测误差，对...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值