机器学习大牛最常用的5个回归损失函数，你知道几个？

最新推荐文章于 2022-08-12 12:16:17 发布
最新推荐文章于 2022-08-12 12:16:17 发布
阅读量926 收藏 2
点赞数
分类专栏： 算法

“损失函数”是机器学习优化中至关重要的一部分。L1、L2损失函数相信大多数人都早已不陌生。那你了解Huber损失、Log-Cosh损失、以及常用于计算预测区间的分位数损失么？这些可都是机器学习大牛最常用的回归损失函数哦！

机器学习中所有的算法都需要最大化或最小化一个函数，这个函数被称为“目标函数”。其中，我们一般把最小化的一类函数，称为“损失函数”。它能根据预测结果，衡量出模型预测能力的好坏。

在实际应用中，选取损失函数会受到诸多因素的制约，比如是否有异常值、机器学习算法的选择、梯度下降的时间复杂度、求导的难易程度以及预测值的置信度等等。因此，不存在一种损失函数适用于处理所有类型的数据。这篇文章就讲介绍不同种类的损失函数以及它们的作用。

损失函数大致可分为两类：分类问题的损失函数和回归问题的损失函数。在这篇文章中，我将着重介绍回归损失。

本文出现的代码和图表我们都妥妥保存在这儿了：

https://nbviewer.jupyter.org/github/groverpr/Machine-Learning/blob/master/notebooks/05_Loss_Functions.ipynb

分类、回归问题损失函数对比

https://www.jiqizhixin.com/articles/2018-06-21-3

hlang8160
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
EMD loss
hzhj的博客
05-15 6354
Earth Mover's Distance (EMD)，翻译过来是地球移动距离，又称为推土机距离，是对特征空间中两个多维矩阵中某一维距离的一种度量。 The Earth Mover's Distance (EMD) is a method to evaluate dissimilarity between two multi-dimensional distributions in some feature space where a distance measure between single f
[GAN学习笔记] 基础GAN（三）——WGAN
m0_55905751的博客
03-05 1231
点云损失函数Chamfer Distance 和 Earth Mover‘s Distance
qq_39964246的博客
08-12 5165
浅析点云损失函数Chamfer Distance 和 Earth Mover‘s Distance
High Fidelity Semantic Shape Completion for Point Clouds using Latent Optimization
llj44的博客
10-15 444
题目：利用潜在优化方法完成点云的高保真语义的形状补全 摘要 在3D计算机视觉中语义形状补全是一个具有挑战性的问题，这个任务是使用一个部分3D形状作为输入产生一个完整的3D形状。作者提出了一个基于学习的方法通过生成模型和潜在的流形优化来补全不完整的3D形状。作者的算法工作直接作用与点云上。作者使用一个自编码器和一个GAN网络来学习对象类点云的嵌入分布。首先将缺失区域的输入点云编码为特征向量，然后...
Detection in Crowded Scenes: One Proposal, Multiple Predictions（拥挤场景下的检测：一个提议，多个预测）
m0_46599997的博客
01-13 1240
2020年发表在CVPR 原文链接：https://arxiv.org/pdf/2003.09163v2.pdf 1 目的 检测拥挤场景中高度重叠的实例。 2 关键 让一个提议（proposal）预测一组实例，而不是单个实例。 3 为什么在密集或遮挡情况下容易检测失败 主要有两个原因： （1）高度重叠的实例(以及它们相关的提议)可能具有非常相似的特性。因此，检测器很难分别对每个提议产生有区别的预测。 （2）由于实例之间可能严重重叠，因此预测很可能被NMS错误地抑制。 （前面写过的DETR，即检测trans.
机器学习大牛最常用的5个回归损失函数，你知道几个？.docx
12-23
机器学习中常用的回归损失函数 机器学习中，损失函数是优化中至关重要的一部分。它衡量模型预测能力的好坏。在实际应用中，选取损失函数会受到诸多因素的制约，比如是否有异常值、机器学习算法的选择、梯度下降的...
机器学习系列（三）——目标函数和损失函数
01-06
损失函数5.1 什么是损失函数5.2 常见的损失函数5.3 逻辑回归为什么使用对数损失函数5.4 对数损失函数是如何度量损失的 在本文中着重介绍机器学习中的目标函数（代价函数，Cost Function）以及损失函数（Loss Fu
AI基础：机器学习的损失函数
10-11
AI 基础：简易数学入门 AI 基础：Python开发环境设置和小技巧 AI 基础：Python 简易入门 ...AI基础：机器学习库Scikit-learn的使用 AI基础：机器学习简易入门 AI基础：特征工程-类别特征 AI基础：特征工程-数字特征处理
57_机器学习中常用的损失函数一览1
08-03
在机器学习领域，损失函数（Loss Function）是评估模型预测结果与实际值之间差距的关键工具。它通常是针对单个训练样本来定义的，通过比较模型的输出（预测值）和真实值来计算一个实数值的损失。损失函数的输出反映...
入门机器学习必备！五种回归损失函数.pdf
06-25
比较机器学习中常用的5种损失函数，有比较计算曲线图
Pytorch中torch.nn的损失函数
12-21
目录 前言 一、torch.nn.BCELoss(weight=None, size_average=True) 二、nn.BCEWithLogitsLoss(weight=None, size_average=True) 三、torch.nn.MultiLabelSoftMarginLoss(weight=None, size_average=True) 四、总结 前言 最近使用Pytorch做多标签分类任务，遇到了一些损失函数的问题，因为经常会忘记（好记性不如烂笔头囧rz），都是现学现用，所以自己写了一些代码探究一下，并在此记录，如果以后还遇到其他损失函数，继续在此补充。 如果有兴趣，我建
机器学习中的数学（2）：信息熵与损失函数1
08-03
在机器学习和深度学习中，我们常见到许多度量模型效果的损失函数，在回归任务中常见的是均方误差函数，在分类任务中，交叉熵则使用很频繁，为什么呢？本文将带您领略香农信息论的魔力，了解信息熵和损失函数的联系与...
机器学习作业-任务是在MATLAB中编写一个程序来拟合线性回归中的一条直线 最速梯度下降法进行损失函数+源代码+文档说明
12-23
3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 4、作者介绍：某大厂资深算法工程师，从事Matlab、Python、C/C++、Java、YOLO算法仿真工作10年；擅长计算机视觉、 目标...
基于Python常用机器学习算法的简洁实现之线性回归.zip
最新发布
05-12
机器学习算法 基于Python常用机器学习算法的简洁实现之线性回归
基于Python常用机器学习算法的简洁实现之逻辑回归.zip
05-12
机器学习算法 基于Python常用机器学习算法的简洁实现之逻辑回归
PU-Net：点云上采样网络
01-06 3221
摘要 由于数据的稀疏性和不规则性，使用深度网络学习和分析3D点云具有挑战性。在本文中，我们提出了一种数据驱动的点云上采样技术。关键思想是学习每个点的多级特征，并通过隐含在特征空间中的多分支卷积单元扩展点集。然后将扩展的特征拆分为多个特征，然后将其重构为上采样点集。我们的网络是在补丁级别应用的，具有联合损失函数，该函数鼓励向上采样的点以均匀分布的形式保留在基础表面上。我们使用合成和扫描数据进行了各...
自然语言三兄弟NLP、NLU、NLG傻傻分不清？一文搞懂它们的区别
weixin_39915649的博客
07-04 7139
关注《Python学研大本营》本文旨在快速涵盖NLP、NLU和NLG之间的异同，并谈论NLP的未来。文章作者是Nahla Davies, 今年6月份发表在KDnuggets上。你有没有使用过像Siri或Alexa那样的智能助手来为你回答问题？答案很可能是 "是"，这意味着你在某种程度上已经熟悉了所谓的自然语言处理（NLP）。NLP是来自不同学科的方法的组合，像Siri和Alexa这样的智能助手使用这些方法来理解我们向它们提出的问题。它结合了人工智能和计算机科学等学科，使人类更容易与计算机进行对话，就像我..
自然语言处理（NLP） vs 自然语言理解（NLU）
热门推荐
ZLJ925的博客
01-08 3万+
自然语言处理，是Natural Language Processing， 简称NLP 自然语言理解，是Natural Language Understanding，简称NLU。（图1） （图2） 1、概括来说，NLP，除了NLU（图中红框部分），还包含理解之前的处理阶段、和理解之后的应用阶段。也就是说，NLU是NLP的子集——他们不是并集、更不是等价的概念。这里，是很多AI从业人员都
[Point Cloud] 点云分析中的EMD（Earth Mover's Distance）距离
风中摇曳的小萝卜 的博客
02-25 6199
点云分析中的EMD（Earth Mover’s Distance）距离 EMD（Earth Mover’s Distance）距离介绍 EMD距离，又叫做推土机距离，也叫作Wasserstein。个人理解，EMD距离是离散化的Wasserstein距离，而Wasserstein距离是描述两个连续随机变量的EMD距离。二者数学思想是相同的，但是所描述的对象和应用场景稍有区分。由于个人正在做关于点云数...
机器学习回归损失函数
11-10
回归问题的损失函数是用来衡量模型预测值与真实值之间的差异的函数。以下是几种常见的机器学习回归损失函数： 1. 均方误差（Mean Squared Error，MSE）：MSE是最常见的回归损失函数之一，它计算预测值与真实值之间的平方差的平均值。MSE越小，表示模型的预测结果越接近真实值。 ```python def mse(y_true, y_pred): return np.mean((y_true - y_pred)**2) ``` 2. 平均绝对误差（Mean Absolute Error，MAE）：MAE计算预测值与真实值之间的绝对差的平均值。与MSE相比，MAE更加关注预测值与真实值之间的差异，而不是差异的平方。 ```python def mae(y_true, y_pred): return np.mean(np.abs(y_true - y_pred)) ``` 3. Huber损失：Huber损失是一种介于MSE和MAE之间的损失函数，它对预测值与真实值之间的差异进行平方和绝对值两种方式的计算，从而在预测值与真实值之间存在较大差异时，能够更好地平衡两种损失函数的优缺点。 ```python def huber_loss(y_true, y_pred, delta=1.0): error = y_true - y_pred abs_error = np.abs(error) quadratic = np.minimum(abs_error, delta) linear = abs_error - quadratic return np.mean(0.5 * quadratic**2 + delta * linear) ``` 4. Log-Cosh损失：Log-Cosh损失是一种平滑的损失函数，它对预测值与真实值之间的差异进行了对数和双曲余弦两种方式的计算，从而在预测值与真实值之间存在较大差异时，能够更好地平衡两种损失函数的优缺点。 ```python def logcosh_loss(y_true, y_pred): error = y_true - y_pred return np.mean(np.log(np.cosh(error))) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值