每天五分钟机器学习：逻辑回归算法的损失函数

已于 2023-10-06 21:36:46 修改
阅读量597 收藏 2
点赞数
分类专栏： 每天五分钟玩转机器学习算法 文章标签： 机器学习 逻辑回归 人工智能 回归 算法
于 2022-08-06 22:19:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huanfeng_AI/article/details/126202156
版权
本文探讨了逻辑回归算法的损失函数，指出误差平方和不适合作为逻辑回归的损失函数，因为它导致非凸函数，影响梯度下降找到全局最小值。文章重新定义了一个适合的损失函数，该函数是凸的，只有一个全局最小值，有利于参数优化。
摘要由CSDN通过智能技术生成

本文重点

现在我们已经学习逻辑回归算法的假设函数了，假设函数中是有参数θ的。参数θ怎么确定？我们还没有学习。

在线性回归算法中，学要想学习到最好的参数θ，我们需要对线性回归的损失函数进行梯度下降，那么逻辑回归的损失函数是什么？

训练集

在这里插入图片描述

训练集是一个二分类问题，所以y=0或者y=1。每一个样本用n+1维的特征向量表示：在这里插入图片描述

损失函数

在学习线性回归算法时，定义的损失函数是所有样本误差的平方和。现在我们仍然使用误差平方和定义逻辑回归的假设函数：在这里插入图片描述

其中cost为：

了解本专栏 订阅专栏 解锁全文
幻风_huanfeng
关注
专栏目录
订阅专栏
机器学习100天（十六）：016 逻辑回归损失函数
红色石头的专栏
12-21 560
机器学习 100 天，今天讲的是：逻辑回归损失函数。
每天五分钟深度学习：逻辑回归算法的损失函数和代价函数是什么？
最新发布
huanfeng_AI的博客
04-11 371
前面已经学习了逻辑回归的假设函数，训练出模型的关键就是学习出参数w和b，要想学习出这两个参数，此时需要最小化逻辑回归的代价函数才可以训练出w和b。那么本节课我们将学习逻辑回归算法的代价函数是什么？
机器学习笔记——逻辑回归
li8zi8fa的博客
08-18 659
决策函数：sigmoid 损失函数：cross-entropy 为什么不用平方误差做损失函数？ 因为我们希望接近最优解的地方梯度小，而远离最优解的地方梯度大。从下图可以看出来，平方误差不满足我们的要求。平方误差在这里不好用是因为sigmoid的导数有一个f项，线性回归使用平方误差就没有这个问题。 逻辑回归的
各个算法的损失函数
weixin_41791402的博客
10-05 1142
1、平方和损失函数(square loss):L(yi,f(xi)) = (yi- f(xi))2,常用于回归中如最小二乘，权重可直接初始化，再通过梯度下降不断更新。 2、铰链损失函数(Hing loss): L(mi) = max(0,1-mi(w)),常用于SVM中，在SVM损失函数表示为： L(y(i),x(i)) = max(0,1-y(i)f(x(i))) 3、对数损失...
LR为什么不可以用MSE作为损失函数
Matrix_cc的博客
04-19 3119
原因总结： MSE 会有梯度消失现象 MSE 的导数非凸函数，求解最优解困难 证明： 1. 梯度消失公式证明： 令，记为。 只关注其中单项的公式，并简化可得： 可见， 当 h 趋近于 0 时或者趋近于 1 时，该 Loss 的导数都会趋近为 0，从而造成梯度消失现象。 2. 非凸函数公式证明 关注其二阶导数，可以得出其二阶导数矩阵即 Hessian 矩阵不是正定矩阵。...
逻辑回归损失函数如果用平方损失有什么问题
m0_37347812的博客
04-14 148
逻辑回归损失函数如果用平方损失有什么问题
每天五分钟机器学习：逻辑回归算法logistic的假设函数是什么？
huanfeng_AI的博客
07-24 715
我们将我们的样本x输入到逻辑回归的假设函数中，假设函数hθ(x)的值为该样本为正类y=1的概率，1-hθ(x)就是y=0的概率，这个就是逻辑回归的模型的分类原理，其实就是在计算y=1的概率。逻辑回归算法的假设函数，就是逻辑回归算法需要拟合的目标。...
每天五分钟机器学习：逻辑回归算法的假设函数的意义究竟是什么？
huanfeng_AI的博客
07-24 590
现在我们已经明白一点就是，当学习出训练集的逻辑回归的假设函数之后，那么决策边界就确定了，这个决策边界就完成了样本的正负类的分类。只要假设函数确定了之后，参数θ就确定了，那么决策边界就确定了。我们可以用非常复杂的假设函数来适应非常复杂形状的判定边界。决策边界并不是训练集的属性，而是假设函数本身的属性，所以不同的假设函数会导致决策边界也不一样。httpshttpshttpshttpshttpshttpshttps。...
机器学习：逻辑回归与Python代码实现
01-27
本篇博文的理论知识都来自于吴大大的Coursera机器学习课程，人家讲的深入浅出，我就不一一赘述，只是简单概括一下以及记一下自己的见解。 逻辑回归一般用于分类问题较多，但是叫做“regression”，而线性回归一般不...
【深度学习】逻辑回归损失函数如果用平方损失有什么问题
UESTC_201722的博客
09-06 2241
特别无奈 逻辑回归的损失函数为啥是交叉熵 我的另一篇博客：逻辑回归为什么使用对数损失函数 逻辑回归为啥不用平方损失 原因很简单：就是会出现梯度消失问题，至于为啥看下面的这个推导（我真是无语！），其他的真的没啥说的了 ...
逻辑回归代价函数为什么不用平方项损失函数
xueza1的博客
07-13 544
入坑machine leaning已有3月之久，毫无任何统计学基础，而吴恩达的视频对于数学属于能避免就跳过，对于小白来说并不是一种好事，粗谈自己对于linear regression和logical regression如何求代价函数的理解。 直接来所谓的代价函数，根据样本我们希望得到拟合函数hθ（x）=θ0+θ1x， ...
逻辑回归损失函数_逻辑回归为何不用平方差损失函数
weixin_39965881的博客
12-16 1348
当面试一些刚进入机器学习领域的学生时，我都会问这两个问题：(1) 逻辑回归的损失函数是？(2) 逻辑回归为何不用平方差损失函数？对于第一个问题，大多数人都知道是交叉熵损失函数；对于第二个问题，却有不少人回答不出来或者回答不是那么准确。有的回答说：因为逻辑回归的预测值在[0,1]范围内，用交叉熵损失函数能方便转成概率问题进行计算，这种回答显然没有回答出我想要的理想答案。其实当初...
逻辑回归损失函数_为何逻辑回归的损失函数不用平方误差
weixin_39850787的博客
12-16 1178
逻辑回归的损失函数为什么不采用平方误差？01—关于逻辑回归关于逻辑回归，我曾做过速成视频：《10分钟掌握逻辑回归》。在采用极大似然估计时，它的损失函数为：当采用随机梯度下降法( SGD )求解参数时，上面公式的求和符号消失。则有：简单的公式，性感而动人！02—为什么不是平方误差？看不起我？逻辑回归损失函数，如果用平方误差会是怎样的表现呢？我有点懒得编辑公式，直接上图说话：看起来，梯度的结...
逻辑回归对数损失函数推导（为什么不是平方损失）
jianghuia的博客
08-04 697
看了这一篇知乎文章，又加深了一遍印象 https://www.zhihu.com/question/27126057
logistic回归的损失函数是什么形式？为什么？为什么不选平方损失函数？
weixin_30340775的博客
08-31 559
https://www.cnblogs.com/cxchanpin/p/7359672.html https://www.cnblogs.com/yangzsnews/p/7496639.html 转载于:https://www.cnblogs.com/zwtgyh/p/11438997.html
为什么不用平方误差（MSE）作为Logistic回归的损失函数？
热门推荐
拉风小宇的博客
12-21 1万+
在这篇博文中，我们主要对比在逻辑斯蒂回归中的**log loss**（对数损失）和**mean squared error**（平均平方误差），并且根据经验和数学分析证明为什么我们推荐使用“log loss”
损失函数中的均方误差以及平方误差
xiaoyaozizai017的博客
10-23 254
机器学习中的所有算法都依赖于最小化或最大化某一个函数，我们称之为“目标函数”。最小化的这组函数被称为“损失函数”。损失函数是衡量预测模型预测期望结果表现的指标。寻找函数最小值的最常用方法是“梯度下降”。把损失函数想象成起伏的山脉，梯度下降就像从山顶滑下，目的是到达山脉的最低点。损失函数可以大致分为两类：分类损失（Classification Loss）和回归损失（Regression Loss）。下面这篇博文，就将重点介绍5种回归损失。
为什么逻辑回归用交叉熵损失函数而不是均方差损失函数？
qq_36767053的博客
08-20 2114
https://zhuanlan.zhihu.com/p/58883095
Python机器学习笔记：逻辑回归算法详解及应用
本篇学习笔记由赵志勇撰写，主要关注Python中的机器学习算法——逻辑回归（Logistic Regression, LR）。逻辑回归是一种经典的线性分类器，适用于二分类问题。其核心是通过训练样本学习出一个从特征到标签的线性映射...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

幻风_huanfeng

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值