logistic回归算法原理（1）

最新推荐文章于 2023-12-04 21:32:40 发布
VIP文章 最新推荐文章于 2023-12-04 21:32:40 发布
阅读量962 收藏 1
点赞数 2
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/quanju9393/article/details/88933345
版权

1、LR的一般表述

一般的线性回归模型，输出值y\in \left ( -\infty ,\infty \right )；对于分类模型来说，y>0表示正例，y<0表示负例。在很多场景中，我们希望输出值y能类似于概率一样介于0~1之间，所以可以通过一个映射函数h_{w}\left ( x \right )，将其表示为：

                                  0<h_{w}\left ( x \right )<1，h_{w}\left ( x \right )=g\left ( w^{T}\cdot x \right )

映射函数的选择有很多种，最理想的是“单位阶跃函数”，但是单位阶跃函数不连续（即损失函数不可导），所以不能直接使用。我们希望找到一定程度上近似单位阶跃函数的替代函数，并希望它可单调可微。

对数几率函数是形状近似与S形的函数，是sigmoid函数的一种，它将z值转换为一个接近0或者1的y值，并且其输出值在z=0附近变化很陡。使用对数几率函数时：

                                               h_{w}\left ( x \right )=\frac{1}{1+e^{-w^{T\cdot x}}}

直观地理解：

                                   p\left ( y=1|w,x \right )=h_{w}\left ( x \right )                                      输出y为正例的概率

                                   p\left ( y=0 |w,x\right )=1-h_{w}\left ( x \right )                               输出y为负例的概率

 

2、LR作为二分类的依据

如果了解线性回归的小伙伴都知道，线性回归时假设残差服从正态分布，而这里我们要提到logistic分布。logistic分布为：<

最低0.47元/天 解锁文章
萩知叶一
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
R语言Logistic分布函数Logistic Distribution（dlogis, plogis, qlogis & rlogis ）实战
data+scenario+science+insight
09-23 1404
R语言Logistic分布函数Logistic Distribution（dlogis, plogis, qlogis & rlogis ）实战 目录 R语言Logistic分布函数Logistic Distribution（dlogis, plogis, qlogis & rlogis ）实战 #生成Logistic分布计算及可视化 #Logistic分布累积分布函数计算及可视化 #Logistic分布分位函数计算及可视化 #生成符合Logistic分布的随机数 #生
Logistic回归算法
11-28
资源包含Logistic回归算法，以及一个应用实例：预测病马死亡率。可直接执行。
机器学习-logistics算法
最新发布
m0_63931079的博客
12-04 1153
机器学习-logistics回归算法
logistic回归原理解析及Python应用实例
【AI机器学习与知识图谱】的博客
03-20 3万+
logistic回归，又叫对数几率回归（从后文中便可此名由来）。首先给大家强调一点，这是一个分类模型而不是一个回归模型！下文开始将从不同方面讲解logistic回归的原理，随后分别使用梯度上升算法和随机梯度上升算法将logistic回归算法应用到实例中。一、logistic回归和线性回归的关系想必大家也早有疑惑，既然logistic回归名字中都带有“回归”二者，难道和回归模型一点关系都没有！没错，二
机器学习——Logistic回归
ldliuxians的博客
12-04 957
Logistic回归是一种广泛使用的统计方法，用于分析一个或多个自变量（预测变量）与一个二分类因变量（响应变量）之间的关系。它是广义线性模型的一种形式，特别适用于研究事件发生的概率（如是/否、成功/失败、健康/病态等）。
机器学习——logistic回归原理及简单实现
m0_63180382的博客
12-04 1157
本次实验基本实现了Logistic回归的基本步骤，实现了以下的进程去划分，在二维空间中清晰地展示了模型如何区分不同的类别。Sigmoid函数：这是逻辑回归中的核心部分，它将线性函数的输出转换为概率。损失函数：定义了模型预测与真实值之间的差距，我们的目标是通过优化算法最小化（在这个例子中是最大化对数似然）损失函数。梯度上升算法：这是一种优化算法，用于更新模型的权重以最大化损失函数。决策边界：在二维空间中清晰地展示了模型如何区分不同的类别。这是本次实验所学习得到的收获。但是我本次实际使用时可能需要对。
机器学习原理之logistic回归算法与代码实现 .rar_logistic回归_原理与实现_回归_机器学习；_深度学习
09-23
根据现有数据对分类边界线建立回归公式，以此进行分类，其核心是通过最优化算法寻找最佳回归系数（权重系数），主要应用于二分类。
逻辑回归,逻辑回归算法原理,matlab
09-10
逻辑回归一般指logistic回归。logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。
python代码实现逻辑回归logistic原理
01-20
Logistic Regression Classifier逻辑回归主要思想就是用最大似然概率方法构建出方程，为最大化方程，利用牛顿梯度上升求解方程参数。 优点：计算代价不高，易于理解和实现。 缺点：容易欠拟合，分类精度可能不高。...
机器学习之Logistic算法原理详解
大雄没有叮当猫的博客
09-13 4723
微信公众号:数据挖掘与分析学习 逻辑回归(Logistic Regression)是一种借鉴统计领域的机器学习技术。它是二类分类问题的首选方法。在这篇文章中，您将发现用于机器学习的逻辑回归算法。在读完这篇文章后，您将了解到: 描述逻辑回归时的许多专有名称和术语(如 log odds和logit)。 逻辑回归模型中的表达式。 用于从数据中学习逻辑回归模型系数的技术。 如何使用学习好的逻辑回...
Logistic 回归算法原理
一名新生程序员的日常
04-03 2747
Logistic 回归算法原理Sigmoid 函数概率决策分布函数函数求导逻辑回归模型概率预测函数对数几率回归条件概率分布极大似然估计似然函数对数似然对数损失梯度上升 Logistic 回归，又名逻辑回归，它从线性回归发展而来，是一种广义的线性回归模型；该模型预测输出的是样本类别的条件概率分布，因而可以取概率值最大的类别作为分类结果，实质上是一个分类模型。 Sigmoid 函数 概率决策 首先来看一个实际应用场景下的分类问题：某电商网站有着大量的商品，当用户看到这些商品时，有两个选择，一是点击，二是不点击。
逻辑(logistic)回归算法原理及两种代码实现
weixin_46943790的博客
02-11 4207
①简单介绍了逻辑回归的原理 ②介绍了两种代码实现方法
Logistic回归原理及公式推导
热门推荐
AriesSurfer的专栏
11-20 14万+
原文见 http://blog.csdn.net/acdreamers/article/details/27365941
Logistic Regression（逻辑回归）原理及公式推导
oo笨小孩oo的专栏
07-30 13万+
Logistic Regression（逻辑回归）是机器学习中一个非常非常常见的模型，在实习生环境中也常常被使用，是一种经典的分类模型（不是回归模型）。本文主要介绍了Logistic Regression（逻辑回归）模型的原理以及参数估计、公式推导方法。
机器学习中的数学——常用概率分布（十）：贝塔分布（Beta分布）
冯·诺依曼
10-04 2万+
贝塔分布是关于连续变量x∈[0,1]x\in[0, 1]x∈[0,1]的概率分布，它由两个参数a>0a>0a>0和b>0b>0b>0确定： Beta(x∣a,b)=Γ(a+b)Γ(a)Γ(b)μa−1(1−μ)b−1=1B(a,b)μa−1(1−μ)b−1Beta(x|a, b)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}=\frac{1}{B(a, b)}\mu^{a-1}(1-\mu)^{b
跟着AI学AI(2): 逻辑回归
正交分解
03-24 2091
回答：离群值是指在数据集中与其他数据点相比具有异常值的数据点。离群值可能是由于测量误差、数据录入错误、数据采集问题或真实的异常情况引起的。离群值可能会对数据分析和建模产生负面影响，因为它们可能会导致模型过拟合或欠拟合，从而降低模型的准确性和可解释性。例如，在一个身高数据集中，如果有一个人的身高明显高于其他人，那么这个人就是一个离群值。在处理离群值时，可以将其删除、替换或保留，具体取决于数据集和分析目的。
R语言使用plogis函数生成Logistic分布累积分布函数数据、使用plot函数可视化Logistic分布累积分布函数数据（Logistic Distribution）
statistics+insight+vista+power
03-23 470
R语言使用plogis函数生成Logistic分布累积分布函数数据、使用plot函数可视化Logistic分布累积分布函数数据（Logistic Distribution）
NNDL 作业2：第三章课后题
fangerfang？
09-23 560
NNDL 作业2：第三章课后题
logistic回归原理
09-10
逻辑回归是一个经典的分类算法，它可以处理二元分类以及多元分类。逻辑回归的原理是由线性回归模型演变而来的，因此含有“回归”二字，但它并不是一个回归算法，而是属于广义线性模型的一类。[2] 逻辑回归的基本原理可以概括为以下几个步骤： 1. 寻找预测函数：逻辑回归模型通过定义一个预测函数来预测观测样本的分类概率。常用的预测函数是sigmoid函数，也称为逻辑函数。这个函数将输入值映射到一个介于0和1之间的概率值。 2. 构造损失函数：为了使模型能够学习到最优的参数，需要定义一个损失函数来衡量预测值与真实值的差距。常用的损失函数是交叉熵损失函数，它可以度量模型的预测与实际分类之间的误差。 3. 损失函数的优化方法：为了最小化损失函数，常用的优化方法是梯度下降法。梯度下降法通过迭代更新模型参数，使得损失函数逐渐减小，从而达到寻找最优参数的目的。 逻辑回归的优点包括：实现简单，计算效率高，模型可解释性强，可以处理线性可分问题，并且可以通过调整阈值来控制分类的准确率与召回率的平衡。缺点包括：对于非线性可分问题表现较差，并且对异常值敏感。 逻辑回归与线性回归的区别在于目标变量的类型不同。线性回归用于预测连续型变量，而逻辑回归用于预测分类变量。此外，逻辑回归使用了sigmoid函数来模拟分类概率，而线性回归没有这个步骤。 以上是关于逻辑回归原理的一些简要介绍。如果需要更加详细的内容，可以参考引用的材料进行进一步学习。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值