逻辑回归损失函数_为何逻辑回归的损失函数不用平方误差

最新推荐文章于 2024-05-12 09:51:41 发布
最新推荐文章于 2024-05-12 09:51:41 发布
阅读量1.1k 收藏 6
点赞数 5
文章标签： 逻辑回归损失函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39850787/article/details/111368513
版权

逻辑回归的损失函数为什么不采用平方误差？

01

—

关于逻辑回归

关于逻辑回归，我曾做过速成视频：《10分钟掌握逻辑回归》。在采用极大似然估计时，它的损失函数为：

c299df1e0efaf52f5bb7cbb2b5bfcfc0.png

当采用随机梯度下降法( SGD )求解参数时，上面公式的求和符号消失。则有：

53174eaf1b0be479d3d21cfae5179200.png

简单的公式，性感而动人！

02

—

为什么不是平方误差？看不起我？

逻辑回归损失函数，如果用平方误差会是怎样的表现呢？我有点懒得编辑公式，直接上图说话：

最低0.47元/天 解锁文章
weixin_39850787
关注
  • 5
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
每天五分钟机器学习：逻辑回归算法的损失函数为什么是凸函数？
huanfeng_AI的博客
09-24 1613
逻辑回归算法使用交叉熵损失函数的原因是什么？
训练分类器为什么要用cross entropy loss（交叉熵损失函数）而不能用mean square error loss（MSE,最小平方差损失函数）?
热门推荐
玉来愈宏的随笔
05-10 1万+
在一个人工智能群里，有人问起，训练分类器为什么要用cross entropy loss（交叉熵损失函数）而不能用mean square error loss（MSE,最小平方差损失函数）呢?正好，在我的那本《深度学习之美》（第11章）提及这个问题，于是复制了一部分内容，作为回答，群里的同学觉得通俗易懂，于是，把我的回答贴到这里，算是一个总结：---------对于多分类的标签（即教师信号），从本质...
为什么不用平方误差（MSE）作为Logistic回归的损失函数？
拉风小宇的博客
12-21 1万+
在这篇博文中，我们主要对比在逻辑斯蒂回归中的**log loss**（对数损失）和**mean squared error**（平均平方误差），并且根据经验和数学分析证明为什么我们推荐使用“log loss”
逻辑回归LR不使用平方差损失函数的原因
最新发布
wyyfighting123的博客
05-12 247
5.对数损失函数:逻辑回归通常使用对数损失(Log Loss)作为损失函数，它能够更好地处理分类问题，并且具有凸性质，有助于梯度下降在训练时的快速收敛。2.梯度消失问题:当使用平方损失函数时，由于sigmoid函数在输入值很大或很小时的平坦区域，其导数会变得非常小，甚至接近于0，导致梯度消失。综上所述，逻辑回归不使用平方损失函数而选择交叉熵损失函数是因为它能够更好地处理预测值的概率性质，避免梯度消失问题，确保模型训练的稳定性和全局最优性的追求。而平方误差函数可能导致非凸问题，从而容易陷入局部最优。
逻辑回归损失函数_逻辑回归为何不用平方差损失函数
weixin_39965881的博客
12-16 1322
当面试一些刚进入机器学习领域的学生时，我都会问这两个问题：(1) 逻辑回归的损失函数是？(2) 逻辑回归为何不用平方差损失函数？对于第一个问题，大多数人都知道是交叉熵损失函数；对于第二个问题，却有不少人回答不出来或者回答不是那么准确。有的回答说：因为逻辑回归的预测值在[0,1]范围内，用交叉熵损失函数能方便转成概率问题进行计算，这种回答显然没有回答出我想要的理想答案。其实当初...
分类问题不使用平方损失函数的原因
BIG SHARK的博客
07-12 2167
一般平方损失函数的公式如下图所示： h表示的是你的预测结果，y表示对应的标签，J就可以理解为用二范数的方式将预测和标签的差距表示出来，模型学习的过程就是优化权重参数，使得J达到近似最小值，理论上这个损失函数是很有效果的，但是在实践中却又些问题，它这个h是激活函数激活后的结果，激活函数通常是非线性函数，例如sigmoid之类的，这就使得这个J的曲线变得很复杂，并不是凸函数，不利于优化，很容易陷入到局部最优解的情况。吴恩达说当激活函数是sigmoid的时候，J的曲线就如下图所示，可以看到这个曲线是很...
逻辑回归代价函数为什么不用平方项损失函数
xueza1的博客
07-13 517
入坑machine leaning已有3月之久，毫无任何统计学基础，而吴恩达的视频对于数学属于能避免就跳过，对于小白来说并不是一种好事，粗谈自己对于linear regression和logical regression如何求代价函数的理解。 直接来所谓的代价函数，根据样本我们希望得到拟合函数hθ（x）=θ0+θ1x， ...
机器学习之回归问题：线性回归、逻辑回归等等
04-30
逻辑回归的模型表达式为 `p = 1 / (1 + e^-(ax + b))`，其中 `p` 是属于某一类的概率，`a` 和 `b` 是模型参数。通过最大化似然函数或者最小化对数似然损失函数，我们可以找到最优参数。 逻辑回归在预测医学诊断、...
线性回归与逻辑回归测试数据
01-29
逻辑回归通过sigmoid函数（也称为逻辑函数）将线性组合转换为概率输出，其结果介于0和1之间，可以解释为事件发生的概率。在信用卡欺诈检测、疾病诊断等领域，逻辑回归表现出色。 在测试线性回归和逻辑回归模型时，...
逻辑回归分类算法
12-21
逻辑回归的代价函数通常选择对数似然损失函数，也称为交叉熵损失，公式为： \[ J(\theta) = -\frac{1}{m} \sum_{i=1}^{m} [y_i \log(h_{\theta}(x_i)) + (1 - y_i) \log(1 - h_{\theta}(x_i))] \] 其中，\( m \) 是...
第3讲 逻辑回归1
08-04
逻辑回归将线性回归的输出通过一个非线性函数（通常是S形函数，也叫sigmoid函数）转化为介于0和1之间的概率值，用于表示事件发生的可能性。对于二分类问题，我们可以将输出解释为正类的概率。逻辑回归的模型形式如下...
13. 常见的损失函数及改进1
08-03
逻辑回归的损失函数采用的是log损失，而非平方损失。它源于对样本服从伯努利分布的假设，通过对数似然函数求极值得到。标准形式为：\( L(Y, P(Y|X)) = -\log(P(Y|X)) \)。这里，\( Y \)是真实标签，\( P(Y|X) \)是...
逻辑回归对数损失函数推导（为什么不是平方损失）
jianghuia的博客
08-04 653
看了这一篇知乎文章，又加深了一遍印象 https://www.zhihu.com/question/27126057
基础算法2：逻辑回归相关
Lin lin 的博客
01-30 412
一、Logistic回归损失函数的极大似然推导：西瓜书公式3.27怎么推来的？ 二、Logistic回归损失函数的最优化算法：什么是牛顿法、拟牛顿法？ 答： 牛顿法 假设我们求下面函数的最小值： 假设f(x)具有连续的二阶的连续偏导数，假设第K次迭代值为xk的值，那么可将f(X)在xk附近进行二阶泰勒展开得到： 我们对上述公式求导可得: 假设其中可逆，我们就可以得到牛顿法的迭......
机器学习秋招复习知识点
yaogepila的博客
09-11 5797
1.逻辑回归为什么用交叉熵损失函数而不用平方误差函数？ 答： 因为平方误差函数得到的损失函数，是一个非凸函数，求解时很容易陷入局部最优，而交叉熵损失函数是一个凸函数，通过凸优化算法很容易得到最优解。 2.解决非线性问题时，SVM采用核技巧，逻辑回归为什么不用？ 答：SVM只有少量的支持向量参与到核函数运算中，计算复杂度不高，而逻辑回归如果要使用核技巧，所有的样本点都要参与运算，计算复杂度太高。 3.为什么要引入核函数？ 解决线性不可分 解决在高维空间中计算困难的问题 4.SVM为什么对缺失的特征值敏
每天五分钟机器学习：逻辑回归算法的损失函数
huanfeng_AI的博客
08-06 571
至此我们就应该了解到为什么逻辑回归算法不能使用误差平方和来做损失函数了，而且也了解到了逻辑回归算法的误差函数是什么了，下节课程我们将分享如何通过逻辑回归的损失函数来完成梯度下降算法，从而得出最优的参数θ，进行确定最优的假设函数。...
logistic回归的损失函数是什么形式？为什么？为什么不选平方损失函数？
weixin_30340775的博客
08-31 550
https://www.cnblogs.com/cxchanpin/p/7359672.html https://www.cnblogs.com/yangzsnews/p/7496639.html 转载于:https://www.cnblogs.com/zwtgyh/p/11438997.html
逻辑回归
晓海的博客
08-17 377
逻辑回归推导 我们在讲逻辑回归推导前，先给大家介绍下损失函数 损失函数用于描述模型预测值与真实值的差距大小。一般对于回归问题的算法有—均值平方差（MSE）和交叉熵。 1、均值平方差 均值平方差（Mean Squared Error，MSE），也称“均方误差”，在神经网络中主要是表达预测值和真实值之间的差异，在数理统计中，均方误差是指参数估计值与参数真值之差平方的预期值。 2、交叉熵 交叉熵（cro...
再谈线性回归与逻辑回归-损失函数
IBelieve2016的博客
03-07 1551
高级机器学习笔记 线性回归的损失函数我们采用的是均方误差函数。而逻辑回归采用的是交叉熵。 均方误差 对于线性函数来说，我们使用平方形式的时候，使用了“最小二乘”的思想，就是用平方来度量估计值与真实值的距离，使其达到最小。而且，如果假设误差服从正态分布，它与最大似然估计在本质上是相同的。 如下面两张图所示： 误差满足正太分布的话，那么我们可以让似然函数L(w)取最大的值，然后可以求出红...
逻辑回归损失函数和线性回归的损失函数有何区别？
04-20
逻辑回归的损失函数和线性回归的损失函数有很大的区别。逻辑回归的损失函数是交叉熵损失函数，因为逻辑回归是一种二分类算法，它将输出值映射到一个概率值，也就是说，它的输出值可以看作是一个二元概率分布。而线性...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值