逻辑回归—极大似然估计的理解

最新推荐文章于 2025-09-24 19:24:01 发布
原创 最新推荐文章于 2025-09-24 19:24:01 发布 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #似然函数

本文深入解析了极大似然估计这一统计学方法的核心思想，即如何通过已知事件的发生来寻找最可能的原因，特别强调了其在逻辑回归中的应用。通过对比不同损失函数，阐述了极大似然函数作为损失函数的优势，包括梯度特性与全局最优解的保障。

极大似然估计是一种参数估计的方法。已知某个事件已经发生，求导致该事情发生的概率最大的原因。

核心思想：找到参数 θ 的一个估计值，使得当前样本出现的可能性最大。

即联合概率最大，需要写出联合概率密度函数，即似然函数，求似然函数最大时参数的值

相当于求y最大时，x的值(凸函数，导数为0时，极值就是最值)

逻辑回归采用极大似然函数做为损失函数的原因：

一是梯度(偏导数)只与x,y相关,与sigmoid函数的梯度无关(最大为0.25,会导致参数更新慢)

二是极大似然函数为凸函数，局部最优解即为全局最优解(极值为最值)，若采用平方损失函数，损失函数为theta的非凸函数，存在局部最优解

 

参考链接：https://www.jianshu.com/p/eabbf37b913b

极大似然估计与逻辑斯谛回归
miffy_love_zyx的博客
09-07 957
极大似然估计 一般来说，在有一组样本X1，X2，X3，…,Xn；取值x1,x2,…,xn。 我们不知道这些样本所属总体服从的具体分布，但是我们知道他们和未知参数结合的形式——比如上述样本的概率分别为p（x1，θ1，θ2，…,θn),p（x2，θ1，θ2，…,θn),…,p（xn，θ1，θ2，…,θn). 那么现在如何对未知的参数θ1，θ2，…,θn进行估计以确定样本的函数？ 那就是将这些样本对应的分布乘起来构建似然函数，再通过对似然函数求极大值，获得各个参数的取值。 这个思想不是凭空出现的，比如扔色子，我们
Logistic Regression 为什么用极大似然函数
aliceyangxi1987的博客
06-01 9319
1. 简述 Logistic Regression Logistic regression 用来解决二分类问题， 它假设数据服从伯努利分布，即输出为 正 负 两种情况，概率分别为 p 和 1-p， 目标函数 hθ(x;θ) 是对 p 的模拟，p 是个概率，这里用了 p＝sigmoid 函数， 所以 目标函数 为： 为什么用 sigmoid 函数？请看：Logistic regr...
5. 逻辑回归(logistic regression)的本质——极大似然估计 - zjuPeco的博客 - CSDN博客1
08-03
前言逻辑回归是分类当中极为常用的手段，因此，掌握其内在原理是非常必要的。我会争取在本文中尽可能简明地展现逻辑回归(logistic regression)的整个
机器学习——逻辑回归详解
最新发布
m0_74069207的博客
09-24 534
逻辑回归是一种重要的分类模型，通过线性回归的输出作为输入，利用Sigmoid函数将结果映射为概率值。其核心原理是极大似然估计，通过最大化似然函数来估计模型参数。逻辑回归的损失函数采用交叉熵损失，能够有效区分不同预测情况下的惩罚力度。在实现上，sklearn提供了LogisticRegression API，支持多种正则化方式。分类效果评估可借助混淆矩阵，计算精确率（查准率）和召回率（查全率）等指标。实际应用中需要注意数据预处理、缺失值处理等环节，案例演示了乳腺癌数据集的分类实现。
逻辑回归的极大似然估计
qxqsunshine的博客
02-25 1万+
参考博客：https://blog.csdn.net/yinyu19950811/article/details/81321944，感谢作者的分享 1、什么是逻辑回归？ 逻辑回归是一种分类算法，不是回归算法。它利用了回归的思想来解决分类问题。 总结：逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，最终达到数据二分类的目的。 假设有一个二分类的问题，输出结果为...
逻辑回归(logistic regression)的本质——极大似然估计
热门推荐
zjuPeco的博客
08-14 10万+
逻辑回归是分类当中极为常用的手段，因此，掌握其内在原理是非常必要的。我会争取在本文中尽可能简明地展现逻辑回归(logistic regression)的整个推导过程。
Lesson 4.2 逻辑回归参数估计：极大似然估计、相对熵与交叉熵损失函数
每天进步一点点！
01-26 2593
逻辑回归参数估计基本思路，利用极大似然估计进行参数估计，熵、相对熵与交叉熵，交叉熵损失函数
机器学习(五)：极大似然估计与交叉熵损失函数
无敌小怪兽_Zz的博客
06-12 1786
在本篇文章中，我们深入探讨了逻辑回归的核心概念：极大似然估计和交叉熵损失函数。我们通过实例逐步解释了如何从这两种不同的角度来推导出逻辑回归的损失函数，并实现了整个过程的详细数学推导。   尽管这两种方法的出发点和推导过程不同，但它们都是以最大化样本数据似然性或最小化预测与真实标签之间的差异为目标，从而得到最优的模型参数。这不仅揭示了不同统计学习方法的内在联系，也让我们对逻辑回归模型有了更深入的理解。
极大似然估计与逻辑回归的交叉熵
weixin_44457930的博客
05-06 523
1 极大似然估计 （1）示例 （2）原理 上面示例的依据是：什么样的原因最有可能让事件A发生，而不是让事件B或事件C发生，那么这个原因就是真实的原因。 通俗理解来说，就是利用已知的样本的结果信息，反推最具有可能（最大概率）导致这些样本结果出现的原因，在极大似然估计中，所谓的“原因”指的是模型参数值！换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。 极大似然估计，是通过一部分数据，去分析整体模型的数学方法。说白了，就是用局部去分析整体，因为局部数据可以实
极大似然 S函数 逻辑回归 具体案例 学习笔记
03-12
**极大似然估计**用于确定逻辑回归模型的参数，即寻找最合适的\(\theta\)值，使得模型给出的预测概率与实际观测结果之间的对数似然函数达到最大。 - **似然函数**: 给定一组训练数据\((x^{(1)}, y^{(1)}), (x^{(2)}...
逻辑回归 S函数 极大似然
09-22
### 逻辑回归、S函数与极大似然估计详解 #### 一、逻辑回归与S函数的应用理解 ...通过以上内容的学习，我们可以更加深入地理解逻辑回归、Sigmoid函数以及极大似然估计的相关理论，并将其应用于实际问题的解决中。
logistic回归的损失函数（lost function）原理
01-06
logistic回归的损失函数和极大似然估计的关系 记 Φ(x)=11+e−θx \Phi(x)=\frac{1}{1+e^-{\theta x}} Φ(x)=1+e−θx1​ 我们可以把这个sigmoid函数的值看做y等于1的后验估计概率，也就是： p(y=1∣x)=Φ(x) p(y=1|x)=\Phi(x) p(y=1∣x)=Φ(x) 那么y=0的时候自然是补事件 p(y=0∣x)=1−Φ(x) p(y=0|x)=1-\Phi(x) p(y=0∣x)=1−Φ(x) 我们可以把这两个式子简化一下,得到 p(y∣x)=Φ(x)y(1−Φ(x))1−y p(y|x)=\Phi(x)^y(1-\P
【机器学习】逻辑回归原理（极大似然估计，逻辑函数Sigmod函数模型详解！！！）
2301_76820214的博客
08-22 1944
逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。
逻辑回归_极大似然估计
weixin_42471573的博客
05-13 1255
二、逻辑回归原理   逻辑回归又叫对数几率回归，是一种广义的线性回归分析模型。虽然名字里有回归，但其实是分类模型，常用于二分类。 1.什么是逻辑回归   由于逻辑回归的原理是用逻辑函数把线性回归的结果(−∞,+∞)(-∞,+∞)(−∞,+∞)映射到(0,1)(0,1)(0,1)，故先介绍线性回归函数和逻辑函数，在本节的第三部分介绍逻辑回归函数。 1.1 线性回归函数    ① 线性回归函数的数学表达式： y=θ0+θ1x1+θ2x2+⋯+θnxn    (1)y =
逻辑回归与最大似然估计推导
糖葫芦君的博客
08-01 3万+
目录 逻辑回归（对数几率回归） 1.广义线性模型 2.逻辑回归的假设 3. 逻辑回归的代价函数 为什么LR中使用交叉熵损失函数而不使用MSE损失函数？ 3. 极大似然估计 4. 利用梯度下降法求解参数w 4.1 三种梯度下降方法的选择 5.逻辑回归优缺点： 参考资料： 逻辑回归（对数几率回归） 逻辑回归是一种分类算法，不是回归算法，因为它用了和回归类似的思想来解决了分类问题...
最大似然估计与逻辑回归
qiang_GG2017的博客
05-23 1481
。。。
逻辑回归(Logistic Regression)原理及损失函数、极大似然估计
PuJiang-的博客
08-23 6039
逻辑回归原理及公式推导过程
逻辑回归损失函数为什么使用最大似然估计而不用最小二乘法
u013385018的专栏
06-17 6966
最小二乘法的误差符合正态分布，而逻辑回归的误差符合的是二项分布，所以不能用最小二乘法来作为损失函数，那么能够用最大似然预计来做。 从求最优解的角度来解释： 如果用最小二乘法，目标函数就是,是非凸的，不容易求解，会得到局部最优。 如果用最大似然估计，目标函数就是对数似然函数：,是关于的高阶连续可导凸函数，可以方便通过一些凸优化算法求解，比如梯度下降法、牛顿法等。 最小二乘作为损失...
逻辑回归：S函数、极大似然及其应用详解
逻辑回归是一种常用在分类问题中的统计学习方法，其核心是将线性...逻辑回归结合S函数和极大似然估计方法，提供了一种强大的工具，用于处理各种实际问题中的分类任务，并通过实际案例和理论分析加深了对其应用的理解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值