机器学习各类损失函数汇总和比较

最新推荐文章于 2024-07-11 10:30:00 发布
最新推荐文章于 2024-07-11 10:30:00 发布
阅读量823 收藏 1
点赞数
文章标签： 损失函数 逻辑回归 线性回归 SVM 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27514521/article/details/90693571
版权
本文汇总了机器学习中的主要损失函数，包括线性回归、逻辑回归、支持向量机和决策树的损失函数。对于线性回归，讨论了函数间隔与几何间隔的关系；逻辑回归聚焦于二分类问题；支持向量机介绍了在线性可分和不可分情况下的损失函数，以及惩罚参数的影响；决策树部分则引用了相关资料深入探讨。
摘要由CSDN通过智能技术生成

 

一直以来各种机器学习或者说统计学习算法的损失函数都是独立讨论的，在这里对这些作一个汇总，期待能找到之间的联系。

在这里提及的算法有

1、线性回归

2、逻辑回归

3、支持向量机

4、决策树

5、

一、线性回归

 

 

 

 二、逻辑回归

 

最低0.47元/天 解锁文章
小蚂蚁呀
关注
【机器学习】机器学习中常用的损失函数一览
热情、奔放、快乐编程！
01-02 1264
我们经常听到损失函数、代价函数和目标函数这三种说法，这三种说法有什么联系和区别呢？这里明确下：损失函数 Loss Function 通常是针对单个训练样本而言的，给定一个模型输出y^\hat{y}y^​和一个真实值yyy，损失函数输出一个实值损失L=f(yi,yi^)L=f(yi​,yi​^​)代价函数 Cost Function 通常是针对整个训练集。
机器学习01：损失函数比较
weixin_44744736的博客
07-08 2044
机器学习中的损失函数
详解常用的对比学习损失
最新发布
weixin_47129891的博客
07-11 1955
对比学习损失函数用于在无监督或半监督的情况下学习数据表示，使得相似的数据样本在表示空间中更加接近，而不相似的样本更远离。
机器学习损失函数梳理
SZ-crystal
02-15 1164
没有一个适合所有机器学习算法的损失函数。针对特定问题选择损失函数涉及到许多因素，比如所选机器学习算法的类型、是否易于计算导数以及数据集中异常值所占比例。 文章目录均方误差/平方损失/L2 损失(MSE)平均绝对误差/L1 损失平均偏差误差（mean bias error）Huber损失函数Hinge Loss/多分类 SVM 损失交叉熵损失/负对数似然Log-Cosh损失Focal loss 均方...
损失函数汇总
hnshahao的专栏
07-06 398
这篇文章总结一下和loss相关的问题，总结一下loss所牵涉的东西(1) Cross Entropy 交叉熵来构建loss(2) 两个概率的 KL距离 构建loss(3) 对于概率值直接取log(4) 最小均方误差...
大数据和机器学习
YCM1101743158的博客
04-13 3087
大数据的定义        大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。　大数据是一个笼统的概念暂未发现和准确的定义。   　大数据的核心是利用数据的价值，机器学习是利用数据价值的关键技术，对于大数据而言，机器学习是不可或缺的。相反，对于
机器学习的可解释性
m0_62870606的博客
01-25 1791
机器学习的可解释性 人工智能技术与咨询 来源：《计算机研究与发展》，作者陈珂锐等 摘 要近年来，机器学习发展迅速，尤其是深度学习在图像、声音、自然语言处理等领域取得卓越成效.机器学习算法的表示能力大幅度提高，但是伴随着模型复杂度的增加，机器学习算法的可解释性越差，至今，机器学习的可解释性依旧是个难题.通过算法训练出的模型被看作成黑盒子，严重阻碍了机器学习在某些特定领域的使用，譬如医学、金融等领域.目前针对机器学习的可解释性综述性的工作极少，因此，将现有的可解释方法进行归类描述和分析比较，一方面..
终极算法：机器学习和人工智能如何重塑世界
GitChat
04-12 1万+
内容简介 算法已在多大程度上影响我们的生活？购物网站用算法来为你推荐商品，点评网站用算法来帮你选择餐馆，GPS 系统用算法来帮你选择好的路线，公司用算法来选择求职者……当机器最终学会如何学习时，将会发生什么？ 不同于传统算法，现在悄然主导我们生活的是“能够学习的机器”，它们通过学习我们琐碎的数据，来执行任务；它们甚至在我们还没提出要求，就能完成我们想做的事。 什么是终极算法？ 机器学习五大学派，每...
1. 深度学习——激活函数
qq_32468785的博客
11-10 992
激活函数是一种用于神经网络和其他机器学习模型中的非线性函数。它被应用于神经网络的每个神经元上，将输入信号进行转换，产生输出信号。激活函数的作用是引入非线性性质，使神经网络能够学习和表示更复杂的函数关系。在神经网络中，每个神经元接收来自上一层神经元的加权输入，然后通过激活函数对这个加权输入进行非线性变换，生成神经元的输出。这个输出被传递到下一层神经元作为输入。激活函数的主要作用有以下几点：引入非线性：激活函数能够将线性变换后的输入转换为非线性输出，使得神经网络具备非线性建模能力。
机器学习常用损失函数汇总
qq_31490925的博客
09-29 471
常用分类，回归损失函数汇总： 一、均方误差： 二、平均绝对误差（L1） MSE与MAE误差比较： 若误差率E>1，由图可知，MSE会进一步增大误差，如果数据种存在异常点，会使得(E)^2变得非常大。 如果最小化MSE，对所有样本的样本点只给出一个预测值，那么最小化MSE一定是所有样本的均值，可由公式推理； 但是如果最小化MAE，则是所有样本点的中位数；中位数对异常值较为鲁棒，不敏感； MAE存在一个严重问题，在神经网络中梯度更新始终相同，即使很小的损失值，梯度也是相同，不
常用损失函数汇总
m0_53675977的博客
03-16 514
神经网络的反向传播是逐层对函数偏导相乘，因此当神经网络层数非常深的时候，最后一层产生的偏差（网络输出和标签之间的偏差）因为乘了很多的小于1的数而越来越小，最终就会变为0，从而导致层数比较浅的权重w没有更新，即梯度消失。第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0），这种情况会造成信息丢失，梯度消失在网络层数多的时候尤其明显，从而无法完成深层网络的训练。第一，采用sigmoid等函数，算激活函数是（指数运算），计算量大；
常见的损失函数总结
黄飞的博客专栏
04-13 4146
损失函数（loss function）用来估量模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： Rsrm(f)=1N∑i=1NL(yi,f(xi))+λJ(f)R_{srm}(f)=\frac{1}{N}\sum_{i
十九种损失函数，你能认识几个？
小小挖掘机
08-26 407
作者：mingo_敏编辑：深度学习自然语言处理小编zenRRan链接：https://blog.csdn.net/shanglianlm/article/details/...
最全的损失函数汇总
小白学视觉
06-14 1259
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者：mingo_敏链接：https://blog.csdn.net/shanglianlm/article/details/85019768tensorflow和pytorch很多都是相似的，这里以pytorch为例。19种损失函数1. L1范数损失 L1Loss计算 output 和 target ...
【深度学习】对比学习的损失函数
热门推荐
Dong_ZH的博客
12-19 1万+
损失（Contrastive Learning Loss）是一种用于自监督学习的损失函数。它侧重于学习一个特征空间，其中相似的样本被拉近，而不相似的样本被推远。在二分类任务中，对比学习损失可以用来学习区分正负样本的特征表示。损失函数有多种，其中比较常用的一种是InfoNCE loss。InfoNCE Loss损失函数是基于的一个损失函数，是由NCE Loss损失函数演变而来。
交叉熵损失函数与激活函数汇总
qq_34514046的博客
03-25 217
MSE 函数对于一个输出范围是的数来说是凸的（标准的u型），而分类问题通常会接sigmoid或softmax，它的输出范围为。会导致损失函数变成非凸函数，有多个极值点。而CE对参数的偏导没有受到激活函数导数的影响，保证了梯度的稳定。即A和B的KL散度=A的熵-AB的交叉熵，在机器学习中，训练数据的分布是固定的，因此最大化相对熵（KL散度）等价于最小化交叉熵。对均方误差损失函数而言，要得到稳定的梯度，输出不能经过激活函数，这样的情况只有线性回归，所以SE较适合做回归问题。1. 从最优化的角度。
【深度学习】各领域常用的损失函数汇总（2024最新版）
Next_SummerAgain的博客
12-28 2489
以下是一些常用的损失函数，可根据不同的应用场景进行选择和组合：适用于回归任务，L1 损失计算预测值与真实值之间差的绝对值，对异常值不那么敏感。其中，是样本数量，是第个样本的真实值，是第个样本的预测值。更适合处理异常值，因为它不会像 L2 损失那样对较大的误差赋予过高的惩罚。
机器学习基础：目标函数和损失函数详解
机器学习系列（三）——目标函数和损失函数 在机器学习中，目标函数和损失函数是两个非常重要的概念，它们是机器学习模型的核心组成部分。本文将对目标函数和损失函数进行详细的介绍，并对涉及到的数学概念进行阐述...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值