回归损失函数：L1 Loss，L2 Loss与Smooth L1 Loss的对比

已于 2025-04-18 12:28:38 修改
阅读量606 收藏 16
点赞数 25
文章标签： 回归 人工智能 计算机视觉
于 2025-04-18 12:18:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jyh6122/article/details/147324775
版权

均方误差MSE (L2 Loss)

平均绝对误差（Mean Absolute Error,MAE) 是指模型预测值f(x)和真实值y之间距离的平均值，其公式如下：

MAE = \frac{1}{n} \sum_{i=1}^{n} |f(x_i) - y_i|

忽略下标i ，设n=1，以f(x)−y为横轴，MAE的值为纵轴，得到函数的图形如下：

MAE曲线连续，但是在y−f(x)=0处不可导。而且 MAE 大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛和模型的学习。但是，无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。

相比于MSE，MAE有个优点就是，对于离群点不那么敏感。因为MAE计算的是误差y−f(x)的绝对值，对于任意大小的差值，其惩罚都是固定的。

针对上面带有离群点的数据，MAE的效果要好于MSE。

显然，使用 MAE 损失函数，受离群点的影响较小，拟合直线能够较好地表征正常数据的分布情况。

均方误差MSE (L2 Loss)

均方误差（Mean Square Error,MSE）是模型预测值f(x) 与真实样本值y 之间差值平方的平均值，其公式如下

MSE = \frac{1}{n} \sum_{i=1}^{n} (f(x_i) - y_i)^2

其中，yi和f(xi)分别表示第i个样本的真实值及其对应的预测值，n为样本的个数。

忽略下标i ，设n=1，以f(x)−y为横轴，MSE的值为纵轴，得到函数的图形如下：

MSE的函数曲线光滑、连续，处处可导，便于使用梯度下降算法，是一种常用的损失函数。 而且，随着误差的减小，梯度也在减小，这有利于收敛，即使使用固定的学习速率，也能较快的收敛到最小值。

当y和f(x)也就是真实值和预测值的差值大于1时，会放大误差；而当差值小于1时，则会缩小误差，这是平方运算决定的。MSE对于较大的误差（>1）给予较大的惩罚，较小的误差（<1）给予较小的惩罚。也就是说，对离群点比较敏感，受其影响较大。

如果样本中存在离群点，MSE会给离群点更高的权重，这就会牺牲其他正常点数据的预测效果，最终降低整体的模型性能。 如下图：

可见，使用 MSE 损失函数，受离群点的影响较大，虽然样本中只有 5 个离群点，但是拟合的直线还是比较偏向于离群点。

MSE和MAE的选择

  • 从梯度的求解以及收敛上，MSE是由于MAE的。MSE处处可导，而且梯度值也是动态变化的，能够快速的收敛；而MAE在0点处不可导，且其梯度保持不变。对于很小的损失值其梯度也很大，在深度学习中，就需要使用变化的学习率，在损失值很小时降低学习率。

  • 对离群（异常）值得处理上，MAE要明显好于MSE。

如果离群点（异常值）需要被检测出来，则可以选择MSE作为损失函数；如果离群点只是当做受损的数据处理，则可以选择MAE作为损失函数。

总之，MAE作为损失函数更稳定，并且对离群值不敏感，但是其导数不连续，求解效率低。另外，在深度学习中，收敛较慢。MSE导数求解速度高，但是其对离群值敏感，不过可以将离群值的导数设为0（导数值大于某个阈值）来避免这种情况。

在某些情况下，上述两种损失函数都不能满足需求。例如，若数据中90%的样本对应的目标值为150，剩下10%在0到30之间。那么使用MAE作为损失函数的模型可能会忽视10%的异常点，而对所有样本的预测值都为150。这是因为模型会按中位数来预测。而使用MSE的模型则会给出很多介于0到30的预测值，因为模型会向异常点偏移。

这种情况下，MSE和MAE都是不可取的，简单的办法是对目标变量进行变换，或者使用别的损失函数，例如：Huber,Log-Cosh以及分位数损失等。

Smooth L1 Loss

在Faster R-CNN以及SSD中对边框的回归使用的损失函数都是Smooth L1 作为损失函数

其中，x=f(xi)−yi 为真实值和预测值的差值。

Smooth L1 能从两个方面限制梯度：

  1. 当预测框与 ground truth 差别过大时，梯度值不至于过大；
  2. 当预测框与 ground truth 差别很小时，梯度值足够小。

对比L1 Loss ，L2 Loss以及Smooth L1 Loss

其中xx为预测框与groud truth之间的差异：

上面损失函数对xx的导数为：

上面导数可以看出：

  • 根据公式4，当x增大时，L2的损失也增大。 这就导致在训练初期，预测值与 groud truth 差异过于大时，损失函数对预测值的梯度十分大，训练不稳定。

  • 根据公式5,L1对x的导数为常数，在训练的后期，预测值与ground truth差异很小时，L1的导数的绝对值仍然为1，而 learning rate 如果不变，损失函数将在稳定值附近波动，难以继续收敛以达到更高精度。

  • 根据公式6，Smotth L1Smotth L1在x较小时，对x的梯度也会变小。 而当x较大时，对x的梯度的上限为1，也不会太大以至于破坏网络参数。SmoothL1完美的避开了L1和L2作为损失函数的缺陷。

L1 Loss ,L2 Loss以及SmoothL1 放在一起的函数曲线对比

从上面可以看出，该函数实际上就是一个分段函数，在[-1,1]之间实际上就是L2损失，这样解决了L1的不光滑问题，在[-1,1]区间外，实际上就是L1损失，这样就解决了离群点梯度爆炸的问题

jyh6122
关注
【损失函数：1】L1、L2、SmoothL1（附Pytorch实现）
NorthSmile的博客
09-25 8877
作者自己是做图像去雾的，平常也会看一些其他的图像恢复方向的文章，比如图像去噪、图像增强、图像去模糊以及图像超分辨等。我们知道损失函数决定了网络训练目标，对于一个任务最后可以实现的功能影响很大，这里我就想把我见过的一些损失函数进行记录，供大家学习参考。
【AI面试】回归损失横评：L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化、IOU loss系列
钱多多先森
05-03 2282
损失函数是深度学习模型优化的一个灵魂基础，所以无论是很新的transform模型，还是比较早期的AlexNet，都不可避免的要涉及到损失函数的设计和应用。 所以，各种形形色色的损失函数（Loss）也就成了面试场上，不经意间就会被牵扯到的问题。 其中，目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。本次我们着重关注BoundingBox Loss 目标检测回归损失，之后有时间我们关注分类等损失函数。 1. L1 loss、
SmoothL1损失 总结
不佛的博客
12-01 1875
SmoothL1SmoothL_1SmoothL1​损失函数是L1L_1L1​损失（平均绝对误差MAE）和L2L_2L2​损失（均方误差MSE）的结合。 图形就是二次函数和绝对值函数的拼凑，比较简单，主要解释一下为什么这么改。 L1L_1L1​损失的特点是： 梯度稳定，几乎处处相等，不易梯度爆炸。 收敛慢，在0附近会震荡。 L2L_2L2​损失的特点是： 误差越大，梯度越大，收敛较快，在0附近收敛稳定。 对离群点比较敏感，离群点会显著增加损失，并且梯度过大，容易爆炸。 综合两者特点，我们希望在0
L1 Loss 和 L2 Loss
m0_64254014的博客
03-19 326
L1 Loss 和 L2 Loss 是深度学习中常用的损失函数，用于衡量模型预测值与真实值之间的差异。
r-cnn学习（五）：SmoothL1LossLayer论文与代码的结合理解
weixin_30456039的博客
12-06 273
A Loss Function for Learning Region Proposals 训练RPN时，只对两种anchor给予正标签：和gt_box有着最高的IoU && IoU超过0.7。如果对于 所有的gt_box，其IoU都小于0.3，则标记为负。损失函数定义如下： 其中i为一个mini-batch中某anchor的索引，pi表示其为目标的预测概率...
【损失函数】SmoothL1Loss 平滑L1损失函数
Next_SummerAgain的博客
12-28 3130
SmoothL1Loss 平滑L1损失函数 是 PyTorch 中的一个损失函数，通常用于回归问题。它是 L1 损失和 L2 损失的结合，旨在减少对异常值的敏感性。
损失函数篇：L1、L2、smooth L1损失函数
热门推荐
识物专栏
03-02 12万+
可见，使用 MSE 损失函数，受离群点的影响较大，虽然样本中只有 5 个离群点，但是拟合的直线还是比较偏向于离群点。 从上面可以看出，该函数实际上就是一个分段函数，在[-1,1]之间实际上就是L2损失，这样解决了L1的不光滑问题，在[-1,1]区间外，实际上就是L1损失，这样就解决了离群点梯度爆炸的问题 实现 (PyTorch) def _smooth_l1_loss(input, target, reduction='none'): # typ...
smooth L1损失函数
08-25 348
当预测值与目标值相差很大时，L2Loss的梯度为(x-t)，容易产生梯度爆炸，L1Loss的梯度为常数，通过使用SmoothL1Loss，在预测值与目标值相差较大时，由L2Loss转为L1Loss可以防止梯度爆炸。 L2 loss的导数（梯度）中包含预测值与目标值的差值，当预测值和目标值相差很大，L2就会梯度爆炸。说明L2对异常点更敏感。L1 对噪声更加鲁棒。 ...
回归问题常用损失函数L1Loss、L2Loss、SmoothL1Loss
weixin_44104200的博客
04-16 2770
L1范数误差(L1 loss) 代表：MAE(Mean Absolute Error, 均绝对误差)。即估计值f(x)f(x)f(x)与真实值yyy之间距离的均值。 MAE=1n∑i=1n∣f(xi)−yi∣MAE=\frac{1}{n}\sum_{i=1}^n|f(x_i)-y_i|MAE=n1​i=1∑n​∣f(xi​)−yi​∣ 优点 无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。 对于离群点不那么敏感。因为MAEMAEMAE计算的是误差y−f(x)y−f(x)
一文理清L1 loss、L2 loss、smooth L1 loss原理与区别
风中一匹狼的博客
08-29 1万+
L1 loss L2 loss smooth L1 loss
交叉熵、Focal loss、L1，L2，smooth L1损失函数、IOU Loss、GIOU、DIOU和CIOU
weixin_44287997的博客
11-05 1870
交叉熵、Focal loss、L1，L2，smooth L1损失函数、IOU Loss、GIOU、DIOU和CIOU 联言命题 2020-02-23 21:36:37 ...
深度学习(23):SmoothL1Loss损失函数
DUT_LYH
03-26 2498
SmoothL1Loss损失函数在深度学习中具有广泛的应用，它能够有效地处理回归问题中的预测值与真实值之间的差异。未来的发展趋势可能包括进一步改进损失函数，以适应更复杂的任务和数据集。同时，挑战可能包括如何选择合适的损失函数来优化模型的性能。
为什么用交叉熵代替二次代价函数_常用的损失函数
weixin_39754616的博客
11-22 392
什么是损失函数？损失函数 （Loss Function） 也可称为代价函数 （Cost Function）或误差函数（Error Function），用于衡量预测值与实际值的偏离程度。一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化，特别是在分类或者回归任务中，便是使用损失函数（Loss Function）作为其目标函数。机器学习的目标就是希望预...
详解torch SmoothL1Loss
牛肉胡辣汤
01-23 2494
在深度学习中，损失函数是评估模型性能的重要指标之一。SmoothL1Loss是一个常用的损失函数之一，在目标回归问题中，它可以在一定程度上平衡L1 Loss和L2 Loss。SmoothL1Loss是一种平滑的损失函数，它对于目标和预测之间的差异进行鲁棒的度量。SmoothL1Loss(x, y) = 0.5 * (x - y)^2, 如果|x - y| < 1= |x - y| - 0.5, 其他情况其中，x是预测值，y是目标值。
【Smooth L1 Loss】Smooth L1损失函数理解
计算机视觉方面的点点滴滴，欢迎一起讨论
05-21 3万+
文章目录1 引言2 L1 Loss3 L2 Loss4 Smooth L1 Loss5 曲线对比分析参考链接 1 引言 目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。 Bounding Box Regression Loss Function的演进路线是： Smooth L1 Loss --> IoU Loss --> GIoU Loss --> DIoU Loss --> CIoU Loss 本
详解Smooth_L1_Loss函数的计算方式
牛肉胡辣汤
01-28 2162
Smooth L1 Loss函数是Huber Loss的一种近似形式。它通过引入平滑因子，使损失函数在离群值附近呈现鲁棒性。相比于MSE损失函数，它在离群值附近不敏感。在机器学习中，回归任务的目标是预测连续值。而损失函数则用于度量预测值与真实值之间的差异，并作为训练模型的指导信号。传统的损失函数如均方误差（MSE）对离群值非常敏感，容易受到噪声的干扰，而绝对值误差（L1 Loss）则对离群值具有鲁棒性，但在梯度计算时不连续。为了兼顾鲁棒性和稳定性，Huber Loss应运而生。
详解L1、L2、smooth L1三类损失函数
MIss-Y的博客
03-29 5068
前言深度学习里面有很多的损失函数，对于MSE、MAE损失函数可能已经耳熟能详了了，对于L1、L2正则化也很熟悉，那你知道什么是L1_loss和L2_loss吗，以及在目标...
目标检测回归损失函数：SmoothL1/IoU/GIoU/DIoU/CIoU Loss
scy的技术博客
04-24 2575
目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。本文介绍目标检测任务中近几年来Bounding Box Regression Loss Function的演进过程，其演进路线是Smooth ->>L1 Loss ->> IoU Loss ->> GIoU Loss DIoU Loss ->> CIoU Loss，本文按照此路线进行讲解。 1. Smoot
L1loss损失函数
最新发布
04-30
<think>好的，我现在需要回答用户关于L1损失函数的定义、用法和实现的问题。首先，用户之前的问题是关于注意力机制的，现在转向了损失函数，特别是L1损失。我需要结合用户提供的引用内容，尤其是引用[2]、[3]、[4]中的信息，来构建回答。 首先，用户提到的引用[2]中提到了Smooth L1 Loss，其中提到当误差大时表现得像L1，误差小时像L2。这可能与L1 Loss的特性有关，但用户现在明确询问的是L1 Loss本身。引用[3]提到了Quantile损失函数和MAE，而MAE其实就是L1损失函数。引用[4]的表格里详细介绍了各种损失函数，包括L1Loss的应用场景，比如回归任务，对异常值不敏感，适用于有异常值的情况。 接下来，我需要确定L1损失函数的数学定义。根据知识，L1损失是预测值和真实值之差的绝对值之和的平均，公式应该是：$$ L = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| $$ 这里需要确认引用中的内容是否有补充。引用[4]提到L1Loss用于回归任务，对异常值不那么敏感，这应该在回答中强调。 然后，关于应用场景，用户可能想知道在什么情况下应该使用L1而不是MSE。根据引用[4]，当数据含有异常值时，L1通常优于MSE。此外，引用[3]提到MAE倾向于估计中位数，这可能在某些情况下有用，比如需要鲁棒性的时候。 用法方面，需要解释如何在PyTorch中实现L1损失，可能给出代码示例。根据引用[4]，PyTorch中的L1Loss对应torch.nn.L1Loss，所以应该提供一个简单的代码片段，展示如何初始化和使用该损失函数。 同时，用户提供的引用中有关于Smooth L1 Loss的信息，可能需要对比L1和Smooth L1的区别，但用户的问题是直接关于L1的，所以这部分可以作为扩展或比较，但重点应放在L1上。 此外，用户可能想知道L1损失函数的优缺点。根据引用[2]和[4]，优点是对异常值不敏感，缺点是可能在优化时收敛较慢，因为梯度在接近零点处不平滑。 需要确保回答结构清晰，分为定义、应用场景、实现、优缺点等部分，并引用相关的引用来源。例如，在提到对异常值的鲁棒性时，可以引用[2]和[4]。 最后，生成相关问题，可能需要联系用户之前的注意力机制问题，或者损失函数的其他类型，比如Smooth L1、Quantile损失等，但根据当前问题，相关问题应围绕L1损失展开，如与其他损失函数的对比，如何选择损失函数，实际应用案例等。 检查是否有遗漏的信息，比如引用[3]中的分位数损失是否与L1相关，MAE和中位数的关系是否需要进一步解释。确保回答准确，同时参考用户提供的引用内容，但不过度引用不相关的部分。 总结，回答的结构应该是： 1. 定义（公式、解释） 2. 应用场景（回归、异常值处理） 3. 实现方法（PyTorch代码） 4. 优缺点 5. 对比其他损失函数（如MSE） 6. 相关问题 在引用方面，应用场景部分引用[4]，对异常值的处理引用[2]和[4]，中位数倾向引用[3]等。确保每个引用只在相关部分提及，并在末尾添加标识。</think># L1损失函数详解 ## 一、数学定义与特性 L1损失函数（平均绝对误差，MAE）的数学表达式为： $$ L = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| $$ 其中$y_i$为真实值，$\hat{y}_i$为预测值。该函数具有**对称性**和**鲁棒性**，对异常值敏感度较低[^2][^4]。 关键特性： 1. 倾向于估计数据的中位数（对比MSE估计均值）[^3] 2. 梯度在原点处不连续，但整体梯度幅度恒定 3. 误差增长速率线性于预测偏差 ## 二、应用场景 | 场景类型 | 具体案例 | 优势体现 | |----------------|----------------------------|------------------------| | 回归任务 | 房价预测、销量预测 | 对异常值不敏感[^4] | | 图像处理 | 图像去噪、超分辨率重建 | 保持边缘锐度 | | 金融预测 | 股价波动预测 | 降低极端事件影响 | | 传感器数据校准 | 工业设备异常检测 | 稳定处理测量噪声 | ## 三、PyTorch实现方法 ```python import torch.nn as nn # 创建损失函数实例 l1_loss = nn.L1Loss(reduction='mean') # reduction可选'max','min','sum' # 计算损失示例 pred = torch.tensor([2.5, 0.8, 5.2]) # 预测值 target = torch.tensor([3.0, 0.5, 4.9]) # 真实值 loss = l1_loss(pred, target) # 输出：0.4 ``` ## 四、与MSE的对比分析 $$ \begin{array}{|l|c|c|} \hline \text{特性} & \text{L1 Loss} & \text{MSE} \\ \hline \text{数学形式} & |y-\hat{y}| & (y-\hat{y})^2 \\ \text{梯度特性} & \text{恒定梯度} & \text{梯度随误差增大而增强} \\ \text{异常值敏感度} & \text{低} & \text{高} \\ \text{收敛速度} & \text{较慢} & \text{较快} \\ \text{最优估计} & \text{中位数} & \text{均值} \\ \hline \end{array} $$ ## 五、改进方案 1. **Smooth L1 Loss**：在接近零点区域使用二次函数平滑 $$ L = \begin{cases} 0.5x^2 & \text{if } |x| < 1 \\ |x| - 0.5 & \text{otherwise} \end{cases} $$ 平衡了L1/L2的优点，常用于目标检测（如Faster R-CNN）[^2] 2. **Huber Loss**：引入可调参数δ控制平滑范围 $$ L_\delta = \begin{cases} \frac{1}{2}x^2 & \text{for } |x| \leq \delta \\ \delta|x| - \frac{1}{2}\delta^2 & \text{otherwise} \end{cases} $$ ## 六、最佳实践建议 1. **数据预处理**：建议对输入数据进行标准化（Z-score） 2. **优化器选择**：搭配自适应优化器（如Adam）可改善收敛性 3. **学习率设置**：初始学习率建议设为MSE场景的1/10 4. **监控指标**：建议同时计算MAE和MSE评估模型表现 --相关问题-- 1. 如何选择L1 Loss和Huber Loss的超参数？ 2. 在图像重建任务中，L1 Loss相比MSE有什么视觉优势？ 3. 为什么L1正则化能产生稀疏解？ 4. 如何实现带权重的L1 Loss函数？ [^2]: 当预测值与真实值之间的差异很大时，Smooth L1 Loss表现得像L1 Loss，这减少了对大误差的惩罚 [^3]: MAE函数实际上会倾向于预估样本中位数 [^4]: L1Loss对异常值不那么敏感，当数据含有异常值时通常优于MSE
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值