常见回归和分类的损失函数

最新推荐文章于 2024-08-18 17:27:41 发布
最新推荐文章于 2024-08-18 17:27:41 发布
阅读量3.5k 收藏 9
点赞数 1
文章标签： 机器学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mdh25259mdh/article/details/88725287
版权
本文介绍了机器学习中的两类主要任务——分类和回归，并列举了各自常用的损失函数。回归问题中，平方损失、绝对值损失和Huber损失被讨论，其中Huber损失结合了平方损失和绝对值损失的优点。分类问题中，0-1损失、logistic损失、Hinge损失和指数损失被提及，其中0-1损失由于非凸性不常用，而logistic损失在逻辑回归中应用广泛，Hinge损失则是支持向量机的基础。
摘要由CSDN通过智能技术生成

       分类和回归是机器学习中研究的两大目标。分类即预测未知数据的类别，分类模型的输出可以是离散的，也可以是连续的，一般是输出每个类别的概率，分类分为二元分类和多元分类，二元分类如逻辑回归（LR）、支持向量机（SVM），多元分类如SoftMax、决策树（ID3、C4.5、CART等三个最著名的决策树）、朴素贝叶斯等。回归是预测在未知数据上的函数值，比如预测房价、股票等，常见的回归机器学习算法有线性回归、CART回归树等。

       无论回归或者分类，通常做法都是最小化损失函数，即L(y,f(x))，用来衡量预测值和真实值之间的差异，通常越小越好。分类问题中常包含yf(x)，回归问题中常包含y-f(x)，常见的分类和回归损失函数总结如下：

一、回归问题的损失函数

回归问题中，y和

最低0.47元/天 解锁文章
一切都是未知数
关注
机器学习的分类问题和回归问题的损失函数
bwqiang的博客
07-25 1442
  前几天面试了一个互联网小公司的算法岗，结果面试官避开了所有的应用项目问题的考察转向对我理论只是的考察，但回答的不是很理想，所以承接着上一个博客和这个博客有可能还有下一个博客，好好的将机器学习中的基本理论知识透彻地总结一下。   损失函数一般的写法是L(y,f(x))L(y,f(x))L(y,f(x))，是指通过机器学习模型预测出来的样本的标签和样本真实的标签的某个不一致的度量。损失函数一般是越小越好。   在回归问题中，损失函数表示为：y−f(x)y-f(x)y−f(x)；在分类问题中，表示为：yf(x
常见回归和分类损失函数比较
沈春旭的博客
03-29 6847
文章转自知乎作者wdmad，更多内容建议阅读原文：https://zhuanlan.zhihu.com/p/36431289 本博文属于阅读笔记，融合了个人观点。 1. 损失函数 损失函数的一般表示为L(y,f(x))，用以衡量真实值 y和预测值 f(x)之间不一致的程度，一般越小越好。为了便于不同损失函数的比较，常将其表示为单变量的函数，在回归问题中这个变量为[y-f(x)] ：残差表...
损失函数-回归模型|分类模型
最新发布
m0_58642116的博客
08-18 1221
回归模型适用于大多数回归问题，特别是异常值较少的情况下。适用于需要损失函数值与原始数据单位一致的场景。适用于对异常值敏感度要求低的场景。适用于数据中存在少量异常值且需要综合处理大误差和小误差的场景。分类模型广泛适用于二分类和多分类任务，特别是在深度学习中。适用于线性可分问题和支持向量机应用。适用于需要比较概率分布的任务，如语言模型和生成对抗网络。选择合适的损失函数不仅取决于具体的任务和数据特性，还需要考虑模型的优化难度、对异常值的处理能力以及应用场景的具体要求。
损失函数整理（分类和回归）
学无止境
03-18 8728
0-1损失函数（zero-one loss）、绝对值损失、指数损失、Hinge 损失、感知损失、交叉熵损失（CE）、权重交叉熵损失（WCE）、Focal Loss 均方差、平均绝对误差、Huber Loss（Smooth L1 Loss）、分位数回归损失、IoU Loss、GIoU Loss、DIoU Loss、CIoU Loss、EIoU Loss、Focal Loss
【深度学习】——分类损失函数、回归损失函数、交叉熵损失函数、均方差损失函数、损失函数曲线、
python_AI_fans的博客
08-25 6234
损失函数的一般表示为L(y,f(x))，用以衡量真实值y和预测值f(x)之间不一致的程度，一般越小越好。为了便于不同损失函数的比较，常将其表示为单变量的函数，在回归问题中这个变量为y−f(x)，在分类问题中则为yf(x)。下面分别进行讨论。
一文读懂深度学习中的损失函数（Loss Function）：回归损失、二分类损失和多分类损失
CCC的专栏
07-27 1万+
机器学习中的所有算法都依赖于最小化或最大化一个函数，我们称之为损失函数（loss function），或“目标函数”、“代价函数”。损失函数是衡量预测模型在预测预期结果方面做得有多好。求函数最小点最常用的方法是梯度下降法。损失函数就像起伏的山，梯度下降就像从山上滑下来到达最底部的点。 没有一个单一的损失函数可以完美适用于所有类型的数据。它取决于许多因素，包括异常值的存在、机器学习算法的选择、梯度下降的时间效率等等。本文的目的是了解不同的损失函数，以及它们的原理。 损失函数大致可分为两类：分类损失和回归损失，
2022年常见回归和分类损失函数比较.docx
07-06
2022年常见回归和分类损失函数比较 本文档对2022年常见的回归和分类损失函数进行了比较和分析。回归问题中，常见的损失函数有平方损失、绝对值损失和Huber损失。平方损失是最常用的损失函数，但它对异常点的惩罚较...
深度学习 二分类 损失函数_深度理解机器学习中常见损失函数
weixin_39786617的博客
11-23 3488
【！！！建议收藏！！！】1. 机器学习What机器学习之监督学习的本质可以简单地理解为：给定一系列的训练样本 ，然后学习一个从 的映射函数 ，使得对于给定的 ，可以得到一个最大程度上接近其真实标签（值） 的输出 。How如何学习这个最大程度上接近真实分布 的映射函数 呢？损失函数就是这个“学习过程中”最关键的组成部分（目标），用来衡量学习的模型的输出 与真实的 之间的距离，给模...
回归问题中5种常用损失函数
热门推荐
sjokes的博客
11-25 3万+
机器学习的所有算法都需要最大化或者最小化目标函数，在最小化场景下，目标函数又称损失函数。 实际应用中,选取损失函数需要从多个角度考虑，如是否有异常值、算法、求导难度、预测值的置信度等等。 损失函数可分为两大类，分类问题的损失函数和回归问题的损失函数。 本文将对比分析回归问题中最常用的5个损失函数。 1、均方误差(又称MSE、L2损失) 回归问题中最常见的损失函数。如果对所有样本点只给出一个预测...
入门机器学习必备！五种回归损失函数.pdf
06-25
比较机器学习中常用的5种损失函数，有比较计算曲线图
回归和分类损失函数（MSE、MAE、Huber、Exponential、Deviance、Hinge）
十里清风
05-06 5913
指数损失和二项偏差损失 给定样本x\boldsymbol xx，类别y∈{−1,+1}y\in\{-1,+1\}y∈{−1,+1}，类别另一种表示y′=(y+1)/2∈{0,1}y'=(y+1)/2\in\{0,1\}y′=(y+1)/2∈{0,1}. 二项偏差（Binomial Deviance）的类1概率为 p(x)=P(y=1∣x)=exp⁡(f(x))exp⁡(−f(x))+exp⁡(f(...
损失函数介绍-回归问题篇
每日一算法
07-02 375
损失函数是机器学习算法中的目标，是用来评定数据建模程度的方法。如果预测值和实际结果偏差较远，损失函数的值就会偏大，反之则较小。 损失函数从广义层面分为两类：回归损失函数和分类损失函数。 回归损失 均方误差、平方损失、L2损失 这个函数的含义很明确，就是观测值和实际值的平方误差，这个损失函数的梯度属性较好，比较容易求得最低值。 L1损失 MAE计算会比较困难，需要使用线性规划的工...
损失函数(Loss Function)一文详解-回归问题常见损失函数Python代码实现+计算原理解析
master_hunter的博客
11-01 7161
损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但是我们缺少细致的对损失函数进行分类，或者系统的学习损失函数在不同的算法和任务中的不同的应用。因此有必要对整个损失函数体系有个比较全面的认识，方便以后我们遇到各类功能不同的损失函数有个清楚的认知，而且一般面试以及论文写作基本都会对这方面的知识涉及的非常深入。故本篇文章将结合实际Python代码实现损失函数功能，以及对整个损失函数体系进行深入了解。
回归问题与分类问题常用损失函数对比
National_Committee的博客
07-30 1674
参考文章： https://www.cnblogs.com/massquantity/p/8964029.html 叙：损失函数的一般表示为 L(y,f(x))，为了便于不同损失函数的比较，常将其表示为单变量的函数，在回归问题中这个变量为y−f(x)，在分类问题中则为yf(x)。 1.回归问题的损失函数 回归问题中y和f(x)皆为实数∈R，因此用残差 y−f(x)来度量二者的不一致程度。 常见的回...
回归问题常用的三种损失函数
mg1507的博客
07-10 4269
回归问题是常见的一中，其有三个常用的损失函数，今天来学习下这三种损失函数 均方误差（Mean Square Error，MSE）     均方误差指的是模型预测值和真实值之间的距离平方的平均值，其公式如下所示： MSE=1m∑i=1m(yi−f(xi))2MSE = \frac{1}{m}\sum_{i=1}^{m}(y_i - f(x_i))^2MSE=m1​i=1∑m​(yi​−f(xi​))2     其中，yiy_iyi​和f(xi)f(x_i)f(xi​)分别代表第iii个样本的真实
【知识学习/复习】损失函数篇，包含理解应用与分类：回归、分类、排序、生成等任务
weixin_62371528的博客
04-29 1550
损失函数在图像分类、目标检测、语义分割、自然语言处理、图神经网络和生成式网络中的应用。深入了解回归任务中的核心损失函数，包括IoU及其衍生的GIoU、DIoU和CIoU，以及其他创新变体，如何通过损失函数优化模型性能，提升预测准确性。
回归损失函数和分类损失函数
10-06
分类问题的损失函数通常表示为关于yf(x)的单调递减形式，其中y∈{−1, 1}。交叉熵损失函数是一种常用的分类损失函数，它的标准形式是根据真实标签y和预测值f(x)计算的。而回归问题的损失函数是用残差 y−f(x)来度量真实值y和预测值f(x)之间的不一致程度。常见的回归损失函数有平方损失、绝对值损失和Huber损失等。Huber损失综合了平方损失和绝对值损失，具有一定的鲁棒性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值