Huber Loss

最新推荐文章于 2024-04-01 16:19:04 发布
最新推荐文章于 2024-04-01 16:19:04 发布
阅读量4.7k 收藏 8
点赞数 2
分类专栏： 机器学习理论 文章标签： 计算机视觉 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36670529/article/details/107531746
版权

参考  Huber Loss - 云+社区 - 腾讯云

Huber Loss 是一个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。

当预测偏差小于 δ 时，它采用平方误差,
当预测偏差大于 δ 时，采用的线性误差。

相比于最小二乘的线性回归，HuberLoss降低了对离群点的惩罚程度，所以 HuberLoss 是一种常用的鲁棒的回归损失函数。

Huber Loss 定义如下

huberloss-w450参数 a 通常表示 residuals，写作 y−f(x)，当 a = y−f(x) 时，Huber loss 定义为：

δ 是 HuberLoss 的参数，y是真实值，f(x)是模型的预测值, 且由定义可知 Huber Loss 处处可导

 

Wanderer001
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
损失函数总结（十一）：Huber Loss、SmoothL1Loss
走在深度学习前沿的小宋
11-01 1358
本文对损失函数进行了部分总结，包括：Huber Loss、SmoothL1Loss 等损失函数及其在当前损失函数众多的情况下使用的环境。
Huber稳健估计
10-16
public HuberLoss(double k) { _k = k; } public double Calculate(double y, double f) { if (Math.Abs(y - f) ) return 0.5 * Math.Pow(y - f, 2); else return _k * (Math.Abs(y - f) - 0.5 * _k); }...
【机器学习】损失函数(Loss Function)全总结(2023最新整理)关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
Next_SummerAgain的博客
03-15 1万+
【机器学习】损失函数(Loss Function)全总结(2023最新整理) 关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
Huber Robust loss
最新发布
weixin_45780075的博客
04-01 397
兼具 MSE 和 MAE 的优点：Huber Loss 同时考虑了均方误差和绝对误差的优点，因此在一定程度上能够平衡二者的影响，既能够保留 MSE 对于近似正态分布的数据的有效性，又能够在一定程度上抵抗异常值的干扰，具有更广泛的适用性。其中，y 是真实值，yhat 是预测值，δ 是 Huber Loss 的阈值。对异常值具有鲁棒性：由于 Huber Loss 在绝对误差较小时采用的是均方误差，而在绝对误差较大时采用的是绝对误差，因此对于异常值的影响相对较小，具有一定的鲁棒性。Huber Loss 的主要。
【损失函数】深度学习回归任务中你必须了解的三种损失函数，绝对误差损失（L1 Loss、MAE）均方误差损失（L2 Loss、MSE）以及平滑L1损失（Huber Loss）（2024最新整理）
Next_SummerAgain的博客
01-04 7912
是预测值和真实值之差的绝对值的总和。其中，是样本数量，是第个样本的真实值，是第个样本的预测值。
【基础知识】第四章：损失函数
私はいつも好きです樱岛麻衣的博客
10-27 895
一：什么是损失函数，代价函数，目标函数以及其之间的关系。 损失函数：通常是对于单个样本而言 (loss function) 是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： ：均值代表经验风险 ：损失函数 ：结构风险是衡量模型复杂度的。 代价函数：针对整个数据集的 （或者是一个mini-b...
回归损失函数：Huber Loss
热门推荐
小花生的博客
05-07 6万+
Huber损失函数，平滑平均绝对误差 相比平方误差损失，Huber损失对于数据中异常值的敏感性要差一些。在值为0时，它也是可微分的。它基本上是绝对值，在误差很小时会变为平方值。误差使其平方值的大小如何取决于一个超参数δ，该参数可以调整。当δ~ 0时，Huber损失会趋向于MAE；当δ~ ∞（很大的数字），Huber损失会趋向于MSE。 δ的选择非常关键，因为它决定了你如何看待异常值。残差大于δ...
机器学习笔记：Huber Loss & smooth L1 loss
qq_40206371的博客
09-23 969
【代码】机器学习笔记：Huber Loss。
【损失函数】MSE, MAE, Huber loss详解
菜鸟起飞
12-15 3万+
转载：https://mp.weixin.qq.com/s/Xbi5iOh3xoBIK5kVmqbKYA https://baijiahao.baidu.com/s?id=1611951775526158371&wfr=spider&for=pc 无论在机器学习还是深度领域中,损失函数都是一个非常重要的知识点。损失函数（Loss Function）是用来估量模型的预测值 f(x) 与真实值 y 的不一致程度。我们的目标就是最小化损失函数，让 f(x) 与 y 尽量接...
Huber_Loss_Least_Squares_BRDF_nihe.py
11-27
Huber_Loss_Least_Squares_BRDF_nihe.py
深度学习loss函数优化
11-06
Huber Loss结合了MSE和MAE的优点，对中间误差较小的部分采用平方误差，对较大误差部分采用绝对误差。这使得它在处理噪声数据时表现更稳定。 6. Kullback-Leibler Divergence (KL散度) KL散度常用于衡量两个概率分布...
loss计算器
06-17
4. Huber损失：结合了均方误差和绝对误差的优点，对离群值有一定的鲁棒性。 5. Hinge损失：主要用于支持向量机(SVM)，最大化正确类别和错误类别的间隔。 在GUI（图形用户界面）方面，这个工具可能使用了Tkinter、...
Pytorch 的损失函数Loss function使用详解
09-18
SmoothL1Loss，也称为Huber损失，是一种平滑的L1损失，它在误差较小（误差在-1到1之间）时近似于平方损失，而在误差较大时接近L1损失。这有助于缓解L1Loss对大误差的敏感性，增加训练稳定性。在上述例子中，`nn....
Pytorch-工业应用中如何选取合适的损失函数（MAE、MSE、Huber）
whaosoft143ai的博客
07-06 2344
正文：无论在机器学习还是深度学习领域中,损失函数都是一个非常重要的知识点。损失函数有许多不同的类型，根据具体模型和应用场景需要选择不同的损失函数，如何选择模型的损失函数，是作为算法工程师实践应用中最基础也是最关键的能力之一。最近在学习pytorch的时候，参考了很多说明文档和优秀贴文，总结了如何针对应用场景选择合适损失函数、对比不同损失函数的优缺点及相关pytorch代码，用作学习记录，方便自己回顾。内容包括：基础知识（损失函数、训练目标、训练方法、pytorch）回归模型损失函数 (MSE、MAE、Hub
机器学习之Huber loss
Raywit的博客
04-03 3049
            Huber Loss 是用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。 当预测偏差小于 δ 时，它采用平方误差, 当预测偏差大于 δ 时，采用的线性误差。 具体定义如下：  &nbsp...
【机器学习】Huber loss
My123456abc的专栏
08-02 7395
Huber Loss 是一个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对噪声（或叫离群点，outliers）的鲁棒性。 当预测偏差小于 δ 时，它采用平方误差, 当预测偏差大于 δ 时，采用的线性误差。 相比于最小二乘的线性回归，Huber Loss降低了对离群点的惩罚程度，所以 Huber Loss 是一种常用的鲁棒的回归损失函...
机器学习_LGB自定义huber loss函数
大道至简
11-08 2390
很多时候为了达到更好的训练效果我们需要改变损失函数
Huber loss function
weixin_50920579的博客
08-05 614
import numpy as np import matplotlib.pyplot as plt def huber_loss(e, d): return (abs(e)<=d)*e**2/2 + (e>d)*d*(abs(e)-d/2) plt.figure(figsize=(6, 4.5), facecolor='w', edgecolor='k') x = np.arange(-20, 20) plt.plot(x, x**2/2,'g', label='squared .
回归模型常见的损失函数
木东的博客
08-25 2894
注意：如果图片不显示，请建议科学上网或者使用VPN。 机器学习中的所有算法都依赖于最小化或最大化函数，我们将其称为“目标函数”。最小化的函数组称为“损失函数”。损失函数是衡量预测模型在能够预测预期结果方面的表现有多好的指标。寻找最小值的最常用方法是“梯度下降”。想想这个函数的作用，如起伏的山脉和梯度下降就像滑下山到达最低点。 没有一种损失函数适用于所有类型的数据。它取决于许多因素，包括异常值的存在，机器学习算法的选择，梯度下降的时间效率，易于找到衍生物和预测的置信度。 损失函数可大致分为两类：分类和回归
huber loss
07-28
Huber loss是一种用于回归问题的损失函数，它结合了均方误差（MSE）和平均绝对误差（MAE）的特点。它在预测值与真实值之间的差距较小时使用MSE，而在差距较大时使用MAE。 具体地说，Huber loss定义如下： L(y, f(x)) = 1/2 * (y - f(x))^2, 如果 |y - f(x)| <= δ L(y, f(x)) = δ * |y - f(x)| - 1/2 * δ^2, 如果 |y - f(x)| > δ 其中y是真实值，f(x)是模型的预测值，δ是一个超参数，用于控制阈值。当|y - f(x)|小于等于δ时，使用平方差来计算损失；当|y - f(x)|大于δ时，使用线性误差来计算损失。 Huber loss相比于MSE具有较好的鲁棒性，能够在存在离群值的情况下更好地适应数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wanderer001

ROIAlign原理

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值