损失函数总结（十一）：Huber Loss、SmoothL1Loss

最新推荐文章于 2025-01-18 14:30:55 发布
最新推荐文章于 2025-01-18 14:30:55 发布
阅读量2.2k 收藏 9
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习 损失函数 机器学习 python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758270/article/details/134028681
版权
本文介绍了深度学习中的两种损失函数：Huber Loss和SmoothL1Loss。Huber Loss结合了MSE和MAE的优点，当误差小时使用MSE，大时使用MAE。SmoothL1Loss是L1Loss的平滑版本，对异常值不敏感且梯度变化较小。文中提供了Pytorch的实现代码，并讨论了它们在实际应用中的优缺点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

损失函数总结（十一）：Huber Loss、SmoothL1Loss

1 引言

在前面的文章中已经介绍了介绍了一系列损失函数 (L1Loss、MSELoss、BCELoss、CrossEntropyLoss、NLLLoss、CTCLoss、PoissonNLLLoss、GaussianNLLLoss、KLDivLoss、BCEWithLogitsLoss、MarginRankingLoss、HingeEmbeddingLoss、MultiMarginLoss、MultiLabelMarginLoss、SoftMarginLoss、MultiLabelSoftMarginLoss、TripletMarginLoss、TripletMarginWithDistanceLoss)。在这篇文章中，会接着上文提到的众多损失函数继续进行介绍，给大家带来更多不常见的损失函数的介绍。这里放一张损失函数的机理图：
在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI笔记: 损失函数之L1损失、L2损失、Huber损失
Wang的专栏
04-10 2460
损失函数 之前我们知道预测残差和残差平方和，在机器学习中，我们用专门的术语叫损失函数(loss function)度量样本真实值与模型预测值之间差异 如果我们采用残差平方来作为你的损失函数的话，那我们把它称之为L2损失, 记为：L(y,y^)=(y−y^)2=r2L(y, \hat{y}) = (y - \hat{y})^2 = r^2L(y,y^​)=(y−y^​)2=r2 L表示loss，损...
【机器学习】鲁棒（健壮）回归-Huber损失（Huber Loss）
IT古董
01-16 1370
Huber损失是一种对异常值（outliers）具有鲁棒性的损失函数，它在处理回归问题时常用，结合了均方误差（MSE）的平滑性和平均绝对误差（MAE）的鲁棒性。Huber损失通过引入一个阈值 来定义，当误差小于 时采用 MSE，当误差大于 时采用 MAE。
机器学习笔记：Huber Loss & smooth L1 loss
qq_40206371的博客
09-23 1914
【代码】机器学习笔记：Huber Loss。
Huber Loss
weixin_36670529的博客
04-19 5657
Huber Loss 是一个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。 当预测偏差小于 δ 时，它采用平方误差, 当预测偏差大于 δ 时，采用的线性误差。 相比于最小二乘的线性回归，HuberLoss降低了对离群点的惩罚程度，所以 HuberLoss 是一种常用的鲁棒的回归损失函数。 Huber Loss 定义如下 参数 a 通常表示 residuals，写作 y−f(x)，当 a = y−f(x) 时，Hu.
Huber loss function
weixin_50920579的博客
08-05 729
import numpy as np import matplotlib.pyplot as plt def huber_loss(e, d): return (abs(e)<=d)*e**2/2 + (e>d)*d*(abs(e)-d/2) plt.figure(figsize=(6, 4.5), facecolor='w', edgecolor='k') x = np.arange(-20, 20) plt.plot(x, x**2/2,'g', label='squared .
huber loss
qq_29981283的博客
10-13 1453
huber loss huber loss 是一种优化平方loss的一种方式，使得loss变化没有那么大。 import numpy as np import matplotlib.pyplot as plt import tensorflow as tf def huber_loss(x, d): x = np.abs(x) return ( x&amp;lt;=d ) * x**2...
回归损失函数2 ： HUber loss,Log Cosh Loss,以及 Quantile Loss
a21700790yan的博客
12-17 1731
均方误差（Mean Square Error,MSE）和平均绝对误差（Mean Absolute Error,MAE) 是回归中最常用的两个损失函数，但是其各有优缺点。为了避免MAE和MSE各自的优缺点，在Faster R-CNN和SSD中使用SmoothL1SmoothL1损失函数，当误差在[−1,1][−1,1]之间时，SmoothL1SmoothL1损失函数近似于MSE，能够快速的收敛；在...
PyTorch损失函数详解：L1Loss, SmoothL1Loss, MSELoss与CrossEntropyLoss
本文主要介绍了PyTorch中的几种常见损失函数，包括L1Loss、SmoothL1Loss（HuberLoss）、MSELoss和CrossEntropyLoss，并通过实例展示了它们的使用方法。 在PyTorch中，损失函数是构建神经网络模型不可或缺的一部分，...
回归损失函数 ： Huber Loss,Log Cosh Loss,Quantile Loss
Brook_cv的博客
12-17 2211
均方误差（Mean Square Error,MSE）和平均绝对误差（Mean Absolute Error,MAE) 是回归中最常用的两个损失函数，但是其各有优缺点。为了避免MAE和MSE各自的优缺点，在Faster R-CNN和SSD中使用SmoothL1\text{Smooth} L_1SmoothL1​损失函数，当误差在[−1,1][-1,1][−1,1] 之间时，SmoothL1\tex...
【Huber损失函数解读】：Huber损失函数对线性回归的鲁棒性提升
Huber损失函数是一种平衡了均方误差和绝对误差的损失函数，能够在一定程度上提升模型对异常值的鲁棒性。通过对Huber损失函数的数学表达式和特点进行深入分析，我们可以更好地理解其在机器学习中的应用，尤其是在线性...
深入了解 Huber 损失函数
qlkaicx的博客
07-08 3234
Huber 损失函数结合了 MSE 和 MAE（平均绝对误差）的优点，它在误差较小时表现为 MSE，在误差较大时表现为 MAE。Lδa12a2for∣a∣≤δδ∣a∣−12δfor∣a∣δLδ​a21​a2δ∣a∣−21​δ​for∣a∣≤δfor∣a∣δ​其中，ay−yay−y​表示真实值yyy与预测值y\hat{y}y​之间的差异，δ\deltaδ。
回归损失函数：Huber Loss
热门推荐
小花生的博客
05-07 6万+
Huber损失函数，平滑平均绝对误差 相比平方误差损失，Huber损失对于数据中异常值的敏感性要差一些。在值为0时，它也是可微分的。它基本上是绝对值，在误差很小时会变为平方值。误差使其平方值的大小如何取决于一个超参数δ，该参数可以调整。当δ~ 0时，Huber损失会趋向于MAE；当δ~ ∞（很大的数字），Huber损失会趋向于MSE。 δ的选择非常关键，因为它决定了你如何看待异常值。残差大于δ...
Huber Robust loss
weixin_45780075的博客
04-01 739
兼具 MSE 和 MAE 的优点：Huber Loss 同时考虑了均方误差和绝对误差的优点，因此在一定程度上能够平衡二者的影响，既能够保留 MSE 对于近似正态分布的数据的有效性，又能够在一定程度上抵抗异常值的干扰，具有更广泛的适用性。其中，y 是真实值，yhat 是预测值，δ 是 Huber Loss 的阈值。对异常值具有鲁棒性：由于 Huber Loss 在绝对误差较小时采用的是均方误差，而在绝对误差较大时采用的是绝对误差，因此对于异常值的影响相对较小，具有一定的鲁棒性。Huber Loss 的主要。
Huber loss
qq_38156104的博客
02-07 632
Huber Loss 是一个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对噪声（或叫离群点，outliers）的鲁棒性。 当预测偏差小于 δ 时，它采用平方误差, 当预测偏差大于 δ 时，采用的线性误差。 相比于最小二乘的线性回归，Huber Loss降低了对离群点的惩罚程度，所以 Huber Loss 是一种常用的鲁棒的回归损失函数。 Definition 由定义可知 Huber Loss 处处可导 ...
【深度学习】Huber Loss详解
最新发布
码农努力学习
01-18 2862
平滑是指损失函数在参数空间内变化的平稳程度。在损失函数的图像中，如果它是光滑的，表示它的值不会出现剧烈的波动。平滑的损失函数对于优化过程有利，因为它减少了优化过程中由于损失函数剧烈波动而导致的难以收敛的情况。在优化中，平滑的损失函数能够帮助优化算法（如梯度下降）稳定地找到全局或局部最小值，而不会被局部的“尖峰”或“坑”困住。Huber损失就是一个平滑的损失函数，它在小误差时使用平方损失，避免了大误差的过大惩罚；而在大误差时切换到线性损失，使得对于异常值的影响不至于过大。
机器学习之Huber loss
Raywit的博客
04-03 3772
            Huber Loss 是用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。 当预测偏差小于 δ 时，它采用平方误差, 当预测偏差大于 δ 时，采用的线性误差。 具体定义如下：  &nbsp...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

模型剧场工作室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值