常见回归和分类损失函数比较

最新推荐文章于 2024-08-18 17:27:41 发布
最新推荐文章于 2024-08-18 17:27:41 发布
阅读量6.8k 收藏 23
点赞数 4
分类专栏： 机器学习理论与Python实现 最优化理论/概率图技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shenziheng1/article/details/105185809
版权
本文探讨了回归和分类问题中的损失函数，包括平方损失、绝对值损失、Huber损失、0-1损失、Logistic损失、Hinge损失、指数损失以及modified Huber损失。针对异常点的鲁棒性、优化难度和分类效果，分析了各种损失函数的优缺点，并指出它们在实际应用中的选择依据。
摘要由CSDN通过智能技术生成

文章转自知乎作者wdmad，更多内容建议阅读原文：https://zhuanlan.zhihu.com/p/36431289

本博文属于阅读笔记，融合了个人观点。

1. 损失函数

损失函数的一般表示为 L(y,f(x))，用以衡量真实值 y和预测值 f(x)之间不一致的程度，一般越小越好。为了便于不同损失函数的比较，常将其表示为单变量的函数，在回归问题中这个变量为 [y-f(x)] ：残差表示，在分类问题中则为 yf(x) ： 趋势一致。

2. 回归问题的损失函数

回归问题中 y 和 f(x)皆为实数 R，因此用残差 [y-f(x)]来度量二者的不一致程度。残差 (的绝对值) 越大，则损失函数越大，学习出来的模型效果就越差（这里不考虑正则化问题）。

常见的回归损失函数：

  • 平方损失 (squared loss) ：

最低0.47元/天 解锁文章
沈子恒
关注
专栏目录
回归问题的损失函数
github_15579971的博客
04-14 2398
PRML里有一节讲了回归问题的损失函数，用到了泛函和变分法，但是推导过于简略，这里补充一下详细过程。首先平均损失为：如果损失函数用均方误差，则为：设 则根据变分法有当 取极值时，满足条件 然后做如下推导：由于 里实际没有 这一项，故上式第二项为0，而：代入上式得： ，因为 为任意可微函数，故有： ,做积分得： 而 代入得： 所以可以看到t的均值即为最优解。...
回归问题中5种常用损失函数
热门推荐
sjokes的博客
11-25 3万+
机器学习的所有算法都需要最大化或者最小化目标函数，在最小化场景下，目标函数又称损失函数。 实际应用中,选取损失函数需要从多个角度考虑，如是否有异常值、算法、求导难度、预测值的置信度等等。 损失函数可分为两大类，分类问题的损失函数和回归问题的损失函数。 本文将对比分析回归问题中最常用的5个损失函数。 1、均方误差(又称MSE、L2损失) 回归问题中最常见的损失函数。如果对所有样本点只给出一个预测...
损失函数-回归模型|分类模型
最新发布
m0_58642116的博客
08-18 1231
回归模型适用于大多数回归问题，特别是异常值较少的情况下。适用于需要损失函数值与原始数据单位一致的场景。适用于对异常值敏感度要求低的场景。适用于数据中存在少量异常值且需要综合处理大误差和小误差的场景。分类模型广泛适用于二分类和多分类任务，特别是在深度学习中。适用于线性可分问题和支持向量机应用。适用于需要比较概率分布的任务，如语言模型和生成对抗网络。选择合适的损失函数不仅取决于具体的任务和数据特性，还需要考虑模型的优化难度、对异常值的处理能力以及应用场景的具体要求。
机器学习中常用的5种回归损失函数，你都用过吗？
lsxxx2011的专栏
09-18 866
“损失函数”是机器学习优化中至关重要的一部分。L1、L2损失函数相信大多数人都早已不陌生。那你了解Huber损失、Log-Cosh损失、以及常用于计算预测区间的分位数损失...
回归模型三种损失函数
张欣的博客
05-20 1万+
无论在机器学习还是深度领域中,损失函数都是一个非常重要的知识点。损失函数（Loss Function）是用来估量模型的预测值 f(x) 与真实值 y 的不一致程度。我们的目标就是最小化损失函数，让 f(x) 与 y 尽量接近。通常可以使用梯度下降算法寻找函数最小值。 损失函数有许多不同的类型，没有哪种损失函数适合所有的问题，需根据具体模型和问题进行选择。一般来说，损失函数大致可以分成两类：回归（Regression）和分类（Classification）。今天，红色石头将要总结回归问题中常用的 3 .
深度学习损失函数 分类损失回归损失
qq_42121640的博客
06-22 6903
损失函数是用于衡量模型所作出的预测离真实值（Ground Truth）之间的偏离程度。通常，我们都会最小化目标函数，最常用的算法便是“梯度下降法”（Gradient Descent）。损失函数大致可分为两种：回归损失（针对连续型变量）和分类损失（针对离散型变量）。一、回归损失（Regression Loss） L1 Loss（绝对值损失函数） 也称为Mean Absolute Error，即平均绝对误差（MAE），它衡量的是预测值与真实值之间距离的平均误差幅度，作用范围为0到正无穷。优点： 对离群点（Out
2022年常见回归和分类损失函数比较.docx
07-06
2022年常见回归和分类损失函数比较 本文档对2022年常见的回归和分类损失函数进行了比较和分析。回归问题中，常见的损失函数有平方损失、绝对值损失和Huber损失。平方损失是最常用的损失函数，但它对异常点的惩罚较...
常见回归和分类的损失函数
mdh25259mdh的博客
03-21 3569
分类和回归是机器学习中研究的两大目标。分类即预测未知数据的类别，分类模型的输出可以是离散的，也可以是连续的，一般是输出每个类别的概率，分类分为二元分类和多元分类，二元分类如逻辑回归（LR）、支持向量机（SVM），多元分类如SoftMax、决策树（ID3、C4.5、CART等三个最著名的决策树）、朴素贝叶斯等。回归是预测在未知数据上的函数值，比如预测房价、股票等，常见的回归机器学习算法...
深度学习 二分类 损失函数_深度理解机器学习中常见损失函数
weixin_39786617的博客
11-23 3496
【！！！建议收藏！！！】1. 机器学习What机器学习之监督学习的本质可以简单地理解为：给定一系列的训练样本 ，然后学习一个从 的映射函数 ，使得对于给定的 ，可以得到一个最大程度上接近其真实标签（值） 的输出 。How如何学习这个最大程度上接近真实分布 的映射函数 呢？损失函数就是这个“学习过程中”最关键的组成部分（目标），用来衡量学习的模型的输出 与真实的 之间的距离，给模...
机器学习的分类问题和回归问题的损失函数
bwqiang的博客
07-25 1450
  前几天面试了一个互联网小公司的算法岗，结果面试官避开了所有的应用项目问题的考察转向对我理论只是的考察，但回答的不是很理想，所以承接着上一个博客和这个博客有可能还有下一个博客，好好的将机器学习中的基本理论知识透彻地总结一下。   损失函数一般的写法是L(y,f(x))L(y,f(x))L(y,f(x))，是指通过机器学习模型预测出来的样本的标签和样本真实的标签的某个不一致的度量。损失函数一般是越小越好。   在回归问题中，损失函数表示为：y−f(x)y-f(x)y−f(x)；在分类问题中，表示为：yf(x
损失函数(Loss Function)一文详解-回归问题常见损失函数Python代码实现+计算原理解析
master_hunter的博客
11-01 7326
损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但是我们缺少细致的对损失函数进行分类，或者系统的学习损失函数在不同的算法和任务中的不同的应用。因此有必要对整个损失函数体系有个比较全面的认识，方便以后我们遇到各类功能不同的损失函数有个清楚的认知，而且一般面试以及论文写作基本都会对这方面的知识涉及的非常深入。故本篇文章将结合实际Python代码实现损失函数功能，以及对整个损失函数体系进行深入了解。
神经网络与深度学习笔记（三）：逻辑回归的损失函数
极歌科技
07-05 331
以上是之前我们所学习的sigmoid函数以及logistic函数，下面是我们代价函数的普遍定义形式： 虽然普遍形式是有了，当然这个函数也仅仅是对第i个x才成立，如果想要得到连续的x的值则需要不断累加第i个的代价的值。如果想要上面的那种形式来作为代价函数，那么我们得到的代价函数不是凸函数因此不可能进行优化，于是引入了下面的这种形式来进行的，其具体形式是怎样的呢？我们来看看： 代价函数是使用实...
分类算法中的损失函数
Vincent_zbt的博客
10-25 1万+
转自：http://blog.csdn.net/google19890102/article/details/50522945一、分类算法中的损失函数 在分类算法中，损失函数通常可以表示成损失项和正则项的和，即有如下的形式：J(w)=∑iL(mi(w))+λR(w)其中，L(mi(w))为损失项，R(w)为正则项。mi的具体形式如下：mi=y(i)fw(x(i))y(i)∈{−1,1}fw(x(i)
回归问题常用损失函数L1Loss、L2Loss、SmoothL1Loss
weixin_44104200的博客
04-16 2605
L1范数误差(L1 loss) 代表：MAE(Mean Absolute Error, 均绝对误差)。即估计值f(x)f(x)f(x)与真实值yyy之间距离的均值。 MAE=1n∑i=1n∣f(xi)−yi∣MAE=\frac{1}{n}\sum_{i=1}^n|f(x_i)-y_i|MAE=n1​i=1∑n​∣f(xi​)−yi​∣ 优点 无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。 对于离群点不那么敏感。因为MAEMAEMAE计算的是误差y−f(x)y−f(x)
分类模型的损失函数优选
Niuagha的博客
09-22 108
在机器学习中，分类问题是指将数据集中的样本分成不同的类别。分类模型通常是一种监督学习算法，需要使用已知类别的训练数据来训练模型，然后使用训练好的模型来预测新的数据的类别。分类模型的性能很大程度上取决于损失函数的选择，因为损失函数是衡量模型预测结果与真实结果差异的重要指标之一。在分类模型中，与回归模型计算损失函数的方式不同。一般情况下，使用交叉熵（cross-entropy）来计算分类模型的损失函数。交叉熵是一种常见的分类模型损失函数计算方法。交叉熵的计算公式如下：$H(p,q)=-\sum_{x} p(x)
分类损失函数(margin 损失函数)——以二分类为例（∈{−1,+1}）
Robin_Pi的博客
05-03 2万+
文章目录1. 分类问题的损失函数——用????????(????)来判断1.0 margin: ????????(????)1.1 0-1损失 (zero-one loss)1.2 Logistic loss1.3 Hinge loss回归问题的损失函数——用????−????(????)来度量 写在前面： 损失函数的作用：衡量真实值 y 和预测值 f(x) 之间不一致的程度 如何惩罚： 关键：抓住了 ????−????(????) 和 ????????(????) 就抓住了损失函数...
回归模型常见的损失函数
陨星落云的博客
05-21 2万+
机器学习中的所有算法都依赖于最小化或最大化函数，我们将其称为“目标函数”。最小化的函数组称为“损失函数”。损失函数是衡量预测模型在能够预测预期结果方面的表现有多好的指标。寻找最小值的最常用方法是“梯度下降”。想想这个函数的作用，如起伏的山脉和梯度下降就像滑下山到达最低点。 没有一种损失函数适用于所有类型的数据。它取决于许多因素，包括异常值的存在，机器学习算法的选择，梯度下降的时间效率，易于找到衍生...
回归损失函数和分类损失函数
10-06
分类问题的损失函数通常表示为关于yf(x)的单调递减形式，其中y∈{−1, 1}。交叉熵损失函数是一种常用的分类损失函数，它的标准形式是根据真实标签y和预测值f(x)计算的。而回归问题的损失函数是用残差 y−f(x)来度量真实值y和预测值f(x)之间的不一致程度。常见的回归损失函数有平方损失、绝对值损失和Huber损失等。Huber损失综合了平方损失和绝对值损失，具有一定的鲁棒性。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值