为什么逻辑回归不使用平方损失

最新推荐文章于 2023-06-17 16:14:04 发布
最新推荐文章于 2023-06-17 16:14:04 发布
阅读量149 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43561370/article/details/120706367
版权
本文探讨了逻辑回归不采用平方损失的原因，主要在于其导致的非凸优化问题，使得求解最优解困难。同时，平方损失对反例的惩罚不足，可能导致模型对错误预测过于宽容。此外，当目标变量为二元离散时，梯度消失问题会影响训练过程。文章深入解析了这些问题，并提出了替代损失函数的可能性。
摘要由CSDN通过智能技术生成
dd_cs_ccc
关注
专栏目录
每天五分钟机器学习：逻辑回归算法的损失函数
huanfeng_AI的博客
08-06 597
至此我们就应该了解到为什么逻辑回归算法不能使用误差平方和来做损失函数了，而且也了解到了逻辑回归算法的误差函数是什么了，下节课程我们将分享如何通过逻辑回归的损失函数来完成梯度下降算法，从而得出最优的参数θ，进行确定最优的假设函数。...
每天五分钟深度学习：逻辑回归算法的损失函数和代价函数是什么？
最新发布
huanfeng_AI的博客
04-11 371
前面已经学习了逻辑回归的假设函数，训练出模型的关键就是学习出参数w和b，要想学习出这两个参数，此时需要最小化逻辑回归的代价函数才可以训练出w和b。那么本节课我们将学习逻辑回归算法的代价函数是什么？
逻辑回归损失函数_为何逻辑回归的损失函数不用平方误差
weixin_39850787的博客
12-16 1176
逻辑回归的损失函数为什么不采用平方误差？01—关于逻辑回归关于逻辑回归，我曾做过速成视频：《10分钟掌握逻辑回归》。在采用极大似然估计时，它的损失函数为：当采用随机梯度下降法( SGD )求解参数时，上面公式的求和符号消失。则有：简单的公式，性感而动人！02—为什么不是平方误差？看不起我？逻辑回归损失函数，如果用平方误差会是怎样的表现呢？我有点懒得编辑公式，直接上图说话：看起来，梯度的结...
逻辑回归代价函数为什么不用平方项损失函数
xueza1的博客
07-13 542
入坑machine leaning已有3月之久，毫无任何统计学基础，而吴恩达的视频对于数学属于能避免就跳过，对于小白来说并不是一种好事，粗谈自己对于linear regression和logical regression如何求代价函数的理解。 直接来所谓的代价函数，根据样本我们希望得到拟合函数hθ（x）=θ0+θ1x， ...
logistic回归的损失函数是什么形式？为什么？为什么不选平方损失函数？
weixin_30340775的博客
08-31 557
https://www.cnblogs.com/cxchanpin/p/7359672.html https://www.cnblogs.com/yangzsnews/p/7496639.html 转载于:https://www.cnblogs.com/zwtgyh/p/11438997.html
为什么不用平方误差（MSE）作为Logistic回归的损失函数？
拉风小宇的博客
12-21 1万+
在这篇博文中，我们主要对比在逻辑斯蒂回归中的**log loss**（对数损失）和**mean squared error**（平均平方误差），并且根据经验和数学分析证明为什么我们推荐使用“log loss”
逻辑回归简介
Erli11的专栏
07-01 1万+
回归问题 在参数空间上（不妨假设为二维空间）有一些样本点，找一条曲线尽量拟合所有的样本点。这里面的“找一条”曲线不是漫无边际的找，而是先假定曲线的形式，如：直线、二次曲线等等，然后来学习确定曲线的各项参数。一方面，算法没有那么神奇，不能够告诉我们用什么类型的曲线拟合最好；另一方面，如果最初的假定就错了（用直线拟合最好，但是认为选择了二次曲线），最终的效果也是不好的。
[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）
杨秀璋的专栏
07-03 4万+
前一篇文章讲述了数据分析部分，主要普及网络数据分析的基本概念，讲述数据分析流程和相关技术，同时详细讲解Python提供的若干第三方数据分析库，包括Numpy、Pandas、Matplotlib、Sklearn等。本文介绍回归模型的原理知识，包括线性回归、多项式回归和逻辑回归，并详细介绍Python Sklearn机器学习库的LinearRegression和LogisticRegression算法及回归分析实例。进入基础文章，希望对您有所帮助。
线性回归的损失函数与逻辑回归的损失函数
wjlucc的专栏
05-02 2万+
一、线性回归损失函数的两种解释线性回归的损失函数是平方损失函数，为什么使用平方的形式，参考：线性回归损失函数为什么要用平方形式，讲得很清楚。 在线性回归中，对于训练数据样本(xi,yi)(x_i,y_i)，我们有如下的拟合直线： yiˆ=θ⋅xi\widehat{y_i}=\theta\cdot x_i 构建的损失函数是： C=∑i=1n(yi−yiˆ)2C=\sum\limits_{i=1
第五章、逻辑回归：一、为什么需要逻辑回归？ 1. sklearn中的逻辑回归 1.1 LogisticRegression
qq_53982314的博客
06-17 210
我们使用“损失函数"这个评估指标，**来衡量参数p的优劣，即这一组参数能否使模型在训练集上表现优异。**如果用一组参数建模后，模型在训练集上表现良好，那我们就说模型表现的规律与训练集数据的规律一致，拟合过程中的损失很小，损失函数的值很小，这一组参数就优秀;相反，如果模型在训练集上表现糟糕，损失函数就会很大，模型就训练不足，效果较差，这一组参数也就比较差。即是说，我们在求解参数p时，追求损失函数最小，让模型在训练数据上的拟合效果最优，即预测准确率尽量靠近100%横坐标是c的值，由图可得，在该图l2较好。
机器学习笔记——逻辑回归
li8zi8fa的博客
08-18 657
决策函数：sigmoid 损失函数：cross-entropy 为什么不用平方误差做损失函数？ 因为我们希望接近最优解的地方梯度小，而远离最优解的地方梯度大。从下图可以看出来，平方误差不满足我们的要求。平方误差在这里不好用是因为sigmoid的导数有一个f项，线性回归使用平方误差就没有这个问题。 逻辑回归的
【深度学习】逻辑回归损失函数如果用平方损失有什么问题
UESTC_201722的博客
09-06 2235
特别无奈 逻辑回归的损失函数为啥是交叉熵 我的另一篇博客：逻辑回归为什么使用对数损失函数 逻辑回归为啥不用平方损失 原因很简单：就是会出现梯度消失问题，至于为啥看下面的这个推导（我真是无语！），其他的真的没啥说的了 ...
线性回归为什么使用平方损失函数
拾遗
06-06 2445
线性回归的模型及假设： ，随机误差服从正态分布（高斯分布） are distributed IID，随机误差是独立同分布的 于是目标变量的条件概率分布： 注意： 整个训练集的似然函数为： 对数似然函数为： 因此，最大化对数似然函数，相当于最小化 ...
【机器学习】线性回归损失函数为什么要用平方形式
UESTC_201722的博客
08-09 832
reference 这位大佬写的真好，这里直接搬过来，真的值的看
逻辑回归损失函数为什么使用最大似然估计而不用最小二乘法
u013385018的专栏
06-17 6695
最小二乘法的误差符合正态分布，而逻辑回归的误差符合的是二项分布，所以不能用最小二乘法来作为损失函数，那么能够用最大似然预计来做。 从求最优解的角度来解释： 如果用最小二乘法，目标函数就是,是非凸的，不容易求解，会得到局部最优。 如果用最大似然估计，目标函数就是对数似然函数：,是关于的高阶连续可导凸函数，可以方便通过一些凸优化算法求解，比如梯度下降法、牛顿法等。 最小二乘作为损失...
逻辑回归损失函数为什么使用最大似然估计而不用最小二乘法？
Beyond_2016的博客
04-21 5167
逻辑回归函数一般用在分类问题上。实际上也可以用最小二乘，但是最小二乘得到的权重效果比较差。    如果用最小二乘法，目标函数就是差值的平方和,是非凸的，不容易求解，很容易陷入到局部最优。如果用最大似然估计，目标函数就是对数似然函数,是关于（w，b）的高阶连续可导凸函数，可以方便通过一些凸优化算法求解，比如梯度下降法、牛顿法等。...
逻辑回归为什么使用对数损失函数
saltriver的专栏
03-19 2万+
在前面介绍的《逻辑回归是个什么逻辑》中，我们构建的逻辑回归模型是： P(y=1|x;θ)=11+e−θTxP(y = 1|x;\theta ) = \frac{1}{{1 + {e^{ - {\theta ^T}x}}}} 在模型的数学形式确定后，剩下的就是如何去求解模型中的参数θ\theta。而在已知模型和一定样本的情况下，估计模型的参数，在统计学中常用的是极大似然估计方法。即找到一组参数θ\
深度学习中逻辑回归损失函数为什么这么定义
caokaifa的博客
06-25 827
这里不由的会想，为什么要引入这样的函数，而不是两个数相减或相减的平方。首先引入凸集这个概念：如果对于任意x1,x2属于C，a属于[0,1]的闭区间，则a*x1+（1-a）x2属于C 可推出C是凸集的充要条件。有没有发现上面损失函数与下面凸集定义的形式差不多，上面y是属于0到1，凸集的性质大家可以看看书。凸函数：f(（x1+x2）/2)<(f(x1)+f(x2))/2定义Df为凸集，对于任意下...
logistic回归详解(二）：损失函数（cost function）详解
热门推荐
bitcarmanlee的博客
04-15 15万+
有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)}\{(x^1,y^1),(x^2,y^2),\cdots,(x^m,y^m)\}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0x_0, 则每个样本包含n+1维特征
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值