【AI面试】回归损失横评：L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化、IOU loss系列

已于 2024-04-17 11:23:51 修改
阅读量2k 收藏 15
点赞数 2
分类专栏： 7天快速通过AI/CV面试 文章标签： 人工智能 深度学习 loss 正则化
于 2022-05-03 22:32:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wsLJQian/article/details/124551172
版权
本文深入探讨了深度学习中的回归损失函数，包括L1 loss、L2 loss和Smooth L1 Loss，以及L1和L2正则化的作用和区别。文章阐述了正则化如何通过限制模型参数复杂度来防止过拟合，并分析了L1正则化产生稀疏解和L2正则化得到平滑解的原因。同时，强调了Smooth L1 Loss在解决L1和L2 Loss缺陷上的优势，适合目标检测任务中的框回归。
摘要由CSDN通过智能技术生成

损失函数是深度学习模型优化的一个灵魂基础，所以无论是很新的transformer模型，还是比较早期的AlexNet，都不可避免的要涉及到损失函数的设计和应用。

所以，各种形形色色的损失函数（Loss）也就成了面试场上不经意间就会被牵扯到的问题。

其中，目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。

本次我们着重关注BoundingBox Loss 目标检测回归损失，分类等损失函数参考这里：【AI面试】分类损失横评：CrossEntropy Loss 、Balanced Cross Entropy、 Dice Loss 和 Focal Loss。

一、 L1 loss、L2 loss和Smooth L1 Loss</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
钱多多先森
关注
专栏目录
订阅专栏
【AI面试】NMS 、 Soft NMS 、NMS Free 和 WBF 的辨析
钱多多先森
03-04 949
nms算法汇总辨析
Pytorch学习-损失函数和正则化
Zzz_zhongqing的博客
07-23 1万+
损失函数 说明 一般来说，监督学习的目标函数由损失函数和正则化项组成。(Objective = Loss + Regularization) Pytorch中的损失函数一般在训练模型时候指定。 注意Pytorch中内置的损失函数的参数和tensorflow不同，是y_pred在前，y_true在后，而Tensorflow是y_true在前，y_pred在后。 对于回归模型，通常使用的内置损失函数是均方损失函数nn.MSELoss 。 对于二分类模型，通常使用的是二元交叉熵损失函数nn.BCELoss (输入
【学习】L1 loss 和 L2 loss
qq_37367581的博客
11-25 1万+
转载自：https://zhuanlan.zhihu.com/p/48426076?utm_source=com.tencent.tim&amp;utm_medium=social&amp;utm_oi=1050165363714682880 对于大多数CNN网络，我们一般是使用L2-loss而不是L1-loss，因为L2-loss的收敛速度要比L1-loss要快得多。 对于边框预测回归问...
L1 LOSS -- EIoU loss 一览 .pdf
02-03
L1 LOSS -- EIoU loss
损失函数之-----L1 loss和L2 loss和smooth L1 loss -----用于回归任务
ZJE
09-08 1万+
1. L1 loss： 公式和求导公式： （带绝对值求导时，先去掉绝对值符号，再分情况求导） 一个batch的形式： L1 loss 图形和求导图形如下： 图的底部是预测值和label的差值。 我们可以看到L1 loss的底部是尖的。底部是不存在导数的。而在其他地方，导数大小都是一样的。 优缺点： 优点： 1. L1 loss的鲁棒性(抗干扰性)比L2 loss...
深度学习中常见的损失函数（L1Loss、L2loss）
qq_37925923的博客
10-17 2万+
损失函数
L1、L2、smooth L1三类损失函数
热门推荐
weixin_41940752的博客
06-21 7万+
一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能导致梯度爆...
（转载）回归损失函数1：L1 loss, L2 loss以及Smooth L1 Loss的对比
KuerG的博客
08-24 484
转载 回归损失函数
AutoLoss-Zero：通用任务的损失函数自动搜索
1009AutoLoss-Zero：从零开始搜索一般任务的李浩1傅天文2*<$，戴继峰4，5，李洪生1，高煌4，朱锡洲3香港中文大学-商汤科技联合实验室2香港中文大学信息工程系3商汤科技...然而，具有各种评估指标的通用任务的损失函数
人工智能面试实战题
漫漫人生路
06-18 1700
目标检测可以分为两大类，分别是什么，他们的优缺点是什么呢？ 答案：目标检测算法分为单阶段和双阶段两大类。 单阶段目标验测算法（one-stage），代表算法有 yolo 系列，SSD 系列；直接对图像进行计算生成检测结果，检测速度快，但检测精度低。 双阶段目标验测算法（two-stage），代表算法 RCNN 系列；先对图像提取候选框，然后基于候选区域做二次修正得到检测点结果，检测精度较高，但检测速度较慢。 【单阶段偏应用,因为在精度没有差很多的情况下，速度很快，就会选择单阶段目标检测算法；双阶段偏比
面试真题总结：Faster Rcnn，目标检测，卷积，梯度消失，Adam算法
柏拉图工作室-AI学科
01-19 2万+
目标检测可以分为两大类，分别是什么，他们的优缺点是什么呢？ 答案：目标检测算法分为单阶段和双阶段两大类。单阶段目标验测算法（one-stage），代表算法有 yolo 系列，SSD 系列；直接对图像进行计算生成检测结果，检测速度快，但检测精度低。双阶段目标验测算法（two-stage），代表算法 RCNN 系列；先对图像提取候选框，然后基于候选区域做二次修正得到检测点结果，检测精度较高，但检测速度较慢。【单阶段偏应用,因为在精度没有差很多的情况下，速度很快，就会选择单阶段目标检测算法；双阶段偏比赛，只注重精
目标检测中回归损失函数（L1Loss,L2Loss,Smooth L1Loss,IOU,GIOU,DIOU,CIOU,EIOU,αIOU ,SIOU)
zyw2002的博客
03-04 5437
为了解决CIoU的问题，有学者在CIOU的基础上将纵横比拆开，提出了EIOU Loss，并且加入Focal聚焦优质的预测框，与CIoU相似的，EIoU是损失函数的解决方案，只用于训练。在错误率小的地方，梯度的值也应当小，反之在错误率大的地方，梯度也应当大，因为这时候我们需要对错误率小的情况进行微调，而错误率大的地方进行大刀阔斧的调整；如下图所示，三种情况IoU都相等，但看得出来他们的重合度是不一样的，左边的图回归的效果最好，右边的最差。DIoU的作者考虑到，在两个框中心点重合时，c与d的值都不变。
深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR
最新发布
qq_40280673的博客
11-08 1万+
在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。
L1 loss 是什么
a_145133的博客
04-24 5307
与L2 Loss（也称为Mean Squared Error）相比，L1 Loss更加鲁棒，对于异常值（outliers）的容忍性更高。因此，在某些需要考虑异常值的任务中，例如目标检测、人脸识别等领域，L1 Loss被广泛应用。L1 Loss（也称为Mean Absolute Error）是深度学习中常用的一种损失函数，用于衡量模型预测结果与真实标签之间的平均绝对误差。表示模型对于样本i的预测标签。将每个样本的绝对误差取平均值，得到L1 Loss。表示样本i的真实标签（ground truth），
深度学习之L1 loss和L2 loss的区别
AndyJ的学习之旅
05-08 2万+
L1 loss和L2 loss的区别？ L1 loss: L2 loss: smooth L1 loss: l1 loss在零点不平滑，用的较少。一般来说，l1正则会制造稀疏的特征，大部分无用的特征的权重会被置为0。 （适合回归任务，简单的模型，由于神经网络通常解决复杂问题，很少使用。） smooth l1 loss修改零点不平滑问题，L1-smooth比l2 loss对异常值的鲁棒...
回归损失函数: L1 Loss
小花生的博客
05-07 2万+
平均绝对误差，L1损失 平均绝对误差（MAE）是另一种用于回归模型的损失函数。MAE是目标变量和预测变量之间绝对差值之和。因此它衡量的是一组预测值中的平均误差大小，而不考虑它们的方向（如果我们考虑方向的话，那就是均值误差（MBE）了，即误差之和）。范围为0到∞。 摘录：https://zhuanlan.zhihu.com/p/39239829 注：博众家之所长，集群英之荟萃。 ...
机器学习常用loss：L1 loss、L2 loss、smothL1 loss、huber loss
qq_33278461的博客
09-11 1万+
常用loss： L1： 公式：L1=∑i=1n∣yi−f(xi)∣L1=\sum_{i=1}^{n}\left|y_{i}-f\left(x_{i}\right)\right|L1=i=1∑n​∣yi​−f(xi​)∣ 导数：dL1(x)dx={1 if x≥0−1 otherwise \frac{\mathrm{d} L_{1}(x)}{\mathrm{...
损失函数总结（二）：L1Loss、MSELoss
走在深度学习前沿的小宋
10-18 1218
本文对损失函数进行了部分总结，包括：L1Loss、MSELoss等损失函数及其在当前损失函数众多的情况下使用的环境。总的来说：对于回归任务，最常使用的就是MSELoss，二L1Loss因其本身的特点很少使用。。。。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

钱多多先森

你的鼓励，是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值