逻辑回归中的损失函数

最新推荐文章于 2024-07-22 10:08:20 发布
最新推荐文章于 2024-07-22 10:08:20 发布
阅读量4.9k 收藏 10
点赞数 2
分类专栏： 深度学习 文章标签： 逻辑回归 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shazi4399/article/details/121178646
版权

一、为什么不能用线性回归中的平方损失函数

上一课中讲到的线性回归，在线性回归中损失函数是平方损失，

如果逻辑回归的损失函数也定义为平方损失，那么：

 其中：
𝑖表示第𝑖个样本点
𝑧𝑖 = 𝑥𝑖 ∗ 𝑤 + 𝑏
𝜑 （𝑧𝑖 ）表示对𝑖个样本的预测值
𝑦𝑖表示第𝑖个样本的标签值

 

二、正确做法

二元逻辑回归的损失函数一般采用对数损失函数，定义如下：
 

其中：
(𝑥, 𝑦) ∈ 𝐷是有标签样本 (𝑥, 𝑦) 的数据集
𝑦是有标签样本中的标签，取值必须是 0 或 1
𝑦′是对于特征集𝑥的预测值（介于 0 和 1 之间）

 逻辑回归的理解_HuZhenXing-CSDN博客_逻辑回归解决的是什么问题

欢迎关注公众号：沙子是沙子

沙子是沙子
关注
专栏目录
逻辑回归的损失函数是哪个 -- 012
小麦粒的Python
02-19 1888
♣题目部分以下哪一个是逻辑回归的损失函数？ ♣答案部分 D：logLoss (对数损失函数，也叫binary cross entropy...
小白也能懂--逻辑回归中损失函数的难点理解
gfxjj123的专栏
01-07 907
写下此文是因自己在学习的过程中对逻辑回归的损失函数定义有所疑惑，查了诸多资料才得以理解，因此在此记录下来，一是为来日忘却时能够回来查阅，二是希望为有同样困惑的伙伴提供一点帮助。 1. 逻辑回归(Logistic Regression)简介 虽然名字里面含”回归“， 但逻辑回归一般用于解决分类问题，原生的逻辑回归用于二分类问题，也就是0-1分类。逻辑回归由于其英文名为Logistic Regression，也常简称为LR。 简单来说，LR就是将回归方程代入到Sigmod函数中。 先来看一个简单的回归方程： z
logistic回归详解(二）：损失函数（cost function）详解
热门推荐
bitcarmanlee的博客
04-15 15万+
有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)}\{(x^1,y^1),(x^2,y^2),\cdots,(x^m,y^m)\}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0x_0, 则每个样本包含n+1维特征
逻辑回归损失函数
最新发布
qqrrjj2011的博客
07-22 698
逻辑回归损失函数
逻辑回归中的损失函数的解释
Lost Planet
06-05 4万+
1.Logistic Regression（逻辑回归） 逻辑回归是机器学习中的一个非常常见的模型， 逻辑回归模型其实仅在线性回归的基础上，套用了一个逻辑函数。 逻辑回归可以看做是两步，第一步和线性回归模型的形式相同，即一个关于输入x的线性函数： 第二步通过一个逻辑函数，即sigmoid函数，将线性函数转换为非线性函数。 2.损失函数 为了训练逻辑回归模型的参数w和b需要一个代价函...
逻辑回归损失函数(cost function)
donghuantuo5253的博客
05-18 577
逻辑回归模型预估的是样本属于某个分类的概率，其损失函数(Cost Function)可以像线型回归那样，以均方差来表示；也可以用对数、概率等方法。损失函数本质上是衡量”模型预估值“到“实际值”的距离，选取好的“距离”单位，可以让模型更加准确。 1. 均方差距离 \[{J_{sqrt}}\left( w \right) = {\sum\limits_{i = 1}^m {{y_i}\l...
逻辑回归中的损失函数&梯度下降
m0_65995252的博客
01-21 1742
交叉熵损失函数（Cross-entropy loss function）是一种用于衡量模型输出与实际标签之间差异的损失函数。在机器学习中，交叉熵损失函数通常用于分类问题中，特别是在逻辑回归和神经网络等模型中。对于一个逻辑回归函数：损失函数公式：简化后的公式：根据损失函数的定义，当的值与目标值越接近，损失函数值越小，预测越准确。所以：
如何理解逻辑回归中的损失函数
Deepin_L的博客
01-26 951
逻辑回归是一种有监督的分类模型，常用于二分类。 线性模型的公式是y(x)=θ0+θ1x1+θ2x2+...+θnxny(x)=\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_ny(x)=θ0​+θ1​x1​+θ2​x2​+...+θn​xn​，及y(x)=θTxy(x)=\theta^Txy(x)=θTx。将线性模型带入sigmod函数就是用于二分类的逻辑回归：y(x)=11+e−θTxy(x)=\frac{1}{1+e^{-\theta^T x}}y(x)=1
机器学习：二元逻辑回归的损失函数
The Zen of Data Analysis
10-12 1520
损失函数的概念和解惑 在学习决策树时，曾经提到过两种模型表现：在训练集上的表现，和在测试集上的表现。建模，是追求模型在测试集上的表现最优，因此模型的评估指标往往是用来衡量模型在测试集上的表现的。然而，逻辑回归有着基于训练数据求解参数的需求，并且希望训练出来的模型能够尽可能地拟合训练数据，即模型在训练集上的预测准确率越靠近100%越好。 因此，**使用”损失函数“这个评估指标，来衡量参数为的模型拟合...
线性回归的损失函数与逻辑回归的损失函数
wjlucc的专栏
05-02 2万+
一、线性回归损失函数的两种解释线性回归的损失函数是平方损失函数，为什么使用平方的形式，参考：线性回归损失函数为什么要用平方形式，讲得很清楚。 在线性回归中，对于训练数据样本(xi,yi)(x_i,y_i)，我们有如下的拟合直线： yiˆ=θ⋅xi\widehat{y_i}=\theta\cdot x_i 构建的损失函数是： C=∑i=1n(yi−yiˆ)2C=\sum\limits_{i=1
机器学习（一）逻辑回归（损失函数、决策边界）
懒得聪明的博客
08-21 1234
逻辑回归 LogisticRegression一、什么是逻辑回归二、逻辑回归的损失函数三、逻辑回归损失函数的梯度四、实现逻辑回归算法五、决策边界六、在逻辑回归中使用多项式特征七、sklearn中的逻辑回归八、OvR与OvO 一、什么是逻辑回归 逻辑回归：解决分类问题，将样本的特征和样本发生的概率联系起来 逻辑回归的函数y^=f(x)\hat{y} = f(x)y^​=f(x)，对于线性回归来说，可变换为y^=θT⋅xb\hat{y} = θ^T \cdot{x_b}y^​=θT⋅xb​，y^\hat{y}y
【公式】逻辑回归的损失函数是什么
wwcsd2018001的博客
12-03 2846
对于逻辑回归模型，损失函数是用来衡量模型预测概率与实际标签之间的差距的。在二分类问题中，逻辑回归模型的预测结果通常被解释为概率值，表示样本属于正类的概率。当这个概率值越接近于1时，表示模型预测样本为正类的可能性越大；反之，当概率值越接近于0时，表示模型预测样本为负类的可能性越大。
逻辑回归的损失函数（推导）
h2728677716的博客
02-23 801
前言： 不管是逻辑回归还是线性回归，比较好的减少loss损失的方法就是GD梯度下降。 而用梯度下降就要用到求损失函数，求损失函数就要用到最大似然估计MLE。 1.逻辑回归的概率表达式 对于预测正确的概率，可以将上面两个式子合并 2.运用最大似然估计求出最大概率 假设我们有m条样本，那么m条样本用概率公式相乘的最大值就是最大似然估计 用公式表达就是： 取log对数相乘符号变相加符号 ...
Logistic 回归详解 交叉验证概念
鲨鱼大哥的专栏
12-16 7888
目录(?)[+] 有监督学习 机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。  既然是有监督学习，训练集自然可以用如下方式表述：  {(x1,y1),(x2,y2),⋯,(xm,ym)} 对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0, 则每个样本包含n+1维特征：
逻辑回归的损失函数理解
weixin_43472674的博客
08-08 383
以0.6为界限， 第一个样本：真实结果为1，逻辑回归结果为0.4，所以逻辑结果错误，而此处要提升这个结果到1（我的想法是因为要减小损失，所以才弄出了公式一）。看公式，如果y=1（即真实值是1），用第一个公式使损失减小。越靠近1公式值越小，即损失越小。 第二个样本：真实结果为0，逻辑回归结果为0.68，逻辑结果错误，而此处要降低这个结果为0（我的想法是因为要减小损失，所以才弄出了公式二）。看公式，如果y=0（真实值是0），用第二个公式使损失减小。越靠近0公式值越小，即损失越小。 ...
逻辑回归（logistic regression）损失函数（loss function）推导
亲亲Friends的博客
04-09 1万+
逻辑回归（logistic regression） 逻辑回归（LR）可以看做线性回归（linear regression）的拓展，二者的区别是：逻辑回归的结果为0或1，即分类；线性回归的结果是连续值，即回归1。 Binary LR 本文重点在二分类逻辑回归，其一般形式为： y^=σ(z)=σ(xTw) . \hat{y}=\sigma(z)=\sigma(\boldsymbol{x^T}\boldsymbol{w})\,. y^​=σ(z)=σ(xTw). 注意，这里σ(z)\sigma(z)σ(z)是Si
逻辑回归的损失函数和线性回归的损失函数
weixin_57128596的博客
05-18 1175
其实很简单理解，我们需要求解最优的参数比如w，那么损失函数需要最小，我们dL/dw求解损失函数对w权重的局部梯度，当梯度变化较大时，说明w变化剧烈，离最优值比较远，需要加大我们的学习率lr（自适应学习率，参考之前的梯度大小），梯度变化大说明损失函数在当前参数值w附近对参数的变化非常敏感。1、**局部最小值：**在非凸损失函数中，存在多个局部最小值，这是损失函数在一定区域内的最小值。，可以高效地计算损失函数对网络中所有参数的梯度，无需手动计算每个参数的偏导数，大大提高了梯度计算的效率。
逻辑回归中损失函数的推导
08-06
逻辑回归中的损失函数推导有多种方法，其中一种常见的方法是使用二元交叉熵损失函数。这种损失函数可以通过最大似然估计推导得出。具体推导过程如下： 假设我们有一个二分类问题，样本标签为0或1。我们使用sigmoid...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值