广义线性回归之逻辑斯谛回归（ Logistic Regression）

最新推荐文章于 2023-04-23 21:52:08 发布
最新推荐文章于 2023-04-23 21:52:08 发布
阅读量1.1k 收藏 5
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16608563/article/details/82997699
版权

广义线性模型

逻辑斯谛回归概念可以认为是属于广义线性回归的范畴，但它是用来进行分类的。
线性模型的表达式为： f ( x ) = w 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n f(x)=w_0+w_1x_1+w_2x_2+...+w_nx_n f(x)=w0​+w1​x1​+w2​x2​+...+wn​xn​——（1）
其中，
x 1   x n x_1~x_n x1​ xn​就是n个特征，作为模型的输入
w 0   w n w_0~w_n w0​ wn​就是线性模型的n+1个参数
线性模型虽然简单，却拥有丰富的变化。当我们希望线性模型（1）的预测值逼近真实标记 y y y时，就得到了线性回归模型，把线性回归模型简写为
y = w 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n = w T x + b y=w_0+w_1x_1+w_2x_2+...+w_nx_n=w^Tx+b y=w0​+w1​x1​+w2​x2​+...+wn​xn​=wTx+b

那么可否将模型的预测值逼近 y y y的衍生物呢？

假设我们认为实例所对应的输出标记是在指数尺度上变化，那么就将输出标记的对数作为线性模型逼近的目标，
即

最低0.47元/天 解锁文章
qq_16608563
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
广义线性模型与Logistic回归
hqh45的专栏
03-12 4371
广义线性模型       广义线性模型应满足三个假设： 第一个假设为给定X和参数theta,Y的分布服从某一指数函数族的分布。 第二个假设为给定了X，目标是输出 X条件下T(y)的均值，这个T(y)一般等于y，也有不等的情况， 第三个假设是对假设一种的变量eta做出定义。 指数函数族 前面提到了指数函数族，这里给出定义，满足以下形式的函数构成了指数函数族：
广义线性模型和逻辑回归的公式推导
wx_blue_pig的博客
04-03 1603
广义线性模型 回顾之前我们介绍的一元和多元线性回归，其最终目标都是寻找一个权值向量 ww\boldsymbol w 和常数偏置 bbb， 使每个样本数据 (x,y)(x,y)(\boldsymbol x, y) 中的 xx\boldsymbol x 代入二者所确立的模型 y^=wTx+b(1)(1)y^=wTx+b \hat y=\boldsymbol w^T\boldsymbol x+b...
广义线性模型（Generalized Linear Model）之二：Logistic回归
姚巨龙的博客
07-12 5954
Logistic回归模型有条件与非条件之分，前者适用于配对病例对照资料的分析，后者适用于队列研究或非配对的病例——对照研究成组资料的分析。
广义线性模型——逻辑回归（logistic regression）
weixin_30387423的博客
07-15 527
广义线性模型：使用单调可微的联系函数g(.)，令hΘ(x) = g(ΘTx) logistic regression用来干什么？ 完成分类任务。 为什么要用logistic regression？ 如果使用线性回归处理分类任务会存在以下两个问题： （1）预测值y取值为0或者1，但是hΘ(x)的值可能远大于1或者远小于0。因此根据hΘ(x)的值判断类别的话存在困难（阈值不好取，...
线性回归和逻辑回归分析
06-22 756
回归和分类的区别 回归：通过一堆数据，得出一个预测值 例如：通过一个人的特征分析，预测银行会贷款给我多少钱 分类：通过一堆数据，得出0或者1的值 例如：通过一个人的特征分析，预测银行会不会贷款给我 线性回归:通过一堆数据，得出一个预测值. 预测值和真实值存在一定的差异，这个差异叫做误差项. 若随机变量服从一个均值为、标准差为(方差^2 )...
广义线性回归
weixin_42095259的博客
07-03 539
最小二乘法（Least squares）线性回归： 代价函数（loss function损失函数，成本函数）： 代价函数为均方误差，注意 是向量，代表的是第几个训练样本。 优化方法（解方程的方法）一般为正规方程法，在特征数量大的时候，正规方程计算会很缓慢，应该把优化方法替换为梯度下降。 正规方程（闭式解）： 对正规方程的理解可阅读：https://blog.csdn.net/koke...
逻辑回归(Logistic Regression）
01-21
其次，逻辑回归有一个广义的线性模型。线性模型通常记为 逻辑回归的模型为 ： 这里的g通常取如下形式：g(x) = 1/(1+exp(-x)) 。当x–>正无穷时，g(x)–>1， 当x–>负无穷时，g(x)–>0 。 于是逻辑回归的模型函数为...
基于逻辑回归(Logistic Regression)的数据回归预测，多输入单输出模型 逻辑回归也称作logistic回归分
最新发布
12-25
逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型，属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也可以解决多分类问题）。 基于逻辑回归...
机器学习——为什么逻辑斯特回归(logistic regression)是线性模型
qq_53142796的博客
04-23 592
因此，逻辑斯蒂回归可以被看作是将线性回归模型扩展到离散输出的一种方法，属于广义线性模型的范畴。的模型引入了sigmoid函数映射，是非线性模型，但本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。提到了SVM，区别是，SVM如果不用核函数，也得像逻辑回归一样，在映射后的高维空间显示的定义非线性映射函数。如果分类平面是非线性的，例如题主提到的，那么逻辑斯蒂回归关于变量x是非线性的，但是关于参数仍然是线性的。这里讲到的线性，是说模型关于系数一定是线性形式的。
Logistic - 逻辑斯蒂回归(对数回归) - 分类问题
weixin_40776227的博客
03-17 631
一: 逻辑斯蒂回归原理 (一): 似然函数 每个样本的概率: P(y∣x;θ)=(hθ(x))y(1−hθ(x))1−y P(y|x;\theta)=(h_{\theta}(x))^y(1-h_\theta (x))^{1-y} P(y∣x;θ)=(hθ​(x))y(1−hθ​(x))1−y 事件的概率(所有样本属于真实标记的概率) L(θ)=∏i=1nP(yi∣xi;θ) L(\theta)= ...
线性回归、logistic回归、广义线性模型——斯坦福CS229机器学习个人总结（一）
热门推荐
Jiahe的博客
04-04 5万+
CS229第一份讲义，包括线性回归、logistic回归、广义线性模型。
线性回归与逻辑斯提回归的区别
专注于机器学习，深度学习，人脸识别领域。
04-15 1568
线性回归和逻辑斯提回归都是线性模型，虽然逻辑斯提回归是加了sigmoid函数，引入了非线性，但是它本质上还是只能解决非线性问题的。 两者的区别本质上，线性回归是做回归的，回归出y=wx+b的w,b。lr是做分类的，得到置信度。其实lr就是在线性回归基础上加上了sigmoid函数，然后通过sgd，拟牛顿法等方法得到1/(1+exp(z));z=wx+b; 里面的w，b。
《统计学习方法》--逻辑斯谛回归模型
坚持是一种品质
06-20 875
《统计学习方法》第六章–逻辑斯谛回归模型 逻辑斯谛回归概述 逻辑斯谛回归的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数。而最佳拟合参数就是在训练分类器时，通过最优化算法获得。 逻辑斯谛分布 设XXX是连续随机变量，XXX服从逻辑斯谛分布是指XXX具有以下分布函数和概率密度函数：F(x)=P(X≤x)=11+e−(x−μ)/...
分类算法（一）：广义线性模型之线性回归、逻辑回归
qq_18310041的博客
07-06 3189
线性回归——正态分布来分析误差； 逻辑回归——伯努利分布来分析误差 线性回归用来做预测,LR用来做分类。线性回归是来拟合函数,LR是来预测函数。线性回归用最小二乘法来计算参数,LR用最大似然估计来计算参数。线性回归更容易受到异常值的影响,而LR对异常值有较好的稳定性。 线性回归（回归） 线性回归通常是解决连续数值预测问题, 利用数理统计的回归分析, 来确定变量之间的相互依赖关系。线性回归中的...
回归分析:多项式回归与广义线性回归，非线性问题的拟合
zzh1464501547的博客
09-06 1065
在实际案例中，我们发现线性回归模型有时很难去拟合一些非线性关系的实际问题，例如自变量x和因变量y之间存在周期性变化规律的场景，比如时间与温度的关系的等。如果我们仍然想使用线性函数进行拟合,又想将实际问题拟合的更好，那么我们可以将线性函数的预测值再做一个非线性函数变换，去逼近真实值，这样我们得到的模型就是。图示中样本点明显具有非线性的规律，在使用一元线性回归模型拟合时，误差极大，我们在模型训练时引入了。这里g函数称为联系函数，理论上g函数可以是任意函数，当g函数被指定为指数函数时，得到的回归模型被称为。
广义线性模型——Logistic回归模型（1）
m0_61206827的博客
04-09 5230
广义线性模型是线性模型的扩展，它通过连接函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。 广义线性模型拟合的形式为： 其中g(μY)是条件均值的函数（称为连接函数）。另外，你可放松Y为正态分布的假设，改为Y 服从指数分布族中的一种分布即可。设定好连接函数和概率分布后，便可以通过最大似然估计的多次迭代推导出各参数值。 在大部分情况下，线性模型就可以通过一系列连续型或类别型预测变量来预测正态分布的响应变量的工作。 但是，有时候我们要进行非正态因变量的分析，例如： （1）类别型..
Logistic映射在图像加密中的应用
z2bns的博客
03-26 3923
Logistic映射 Logistic映射是一种可产生的非线性系统，模型表示如下： xn+1=μxn(1−xn) x_{n+1}=\mu x_n(1-x_n) xn+1​=μxn​(1−xn​) 式中：0<μ≤4;0<x<1;n∈N;xn∈[0,1]0<\mu\leq4;0<x<1;n∈N;x_n∈[0,1]0<μ≤4;0<x<1;n∈N;xn​∈[0,1]；μ\muμ是分岔参数，当3.5699456...<μ≤4当3.5699456...<
逻辑回归(logistics regression)
我的～～的博客
06-07 599
逻辑回归是一种广义的线性回归模型，它通过一个单调可微的函数将结果标签和线性回归预测值联系起来，在西瓜书中开头便介绍了单位阶跃函数 f(x)={0=z&lt;00.5=z=01=z&lt;0 f(x)=\left\{ \begin{aligned} 0 &amp; = &amp; z&lt;0\\ 0.5 &amp; = &amp; z=0 \...
浅谈广义线性回归
piaodexin的博客
08-22 7504
首先，广义线性模型是基于指数分布族的，而指数分布族的原型如下        其中为自然参数，它可能是一个向量，而叫做充分统计量，也可能是一个向量，通常来说。    实际上线性最小二乘回归和Logistic回归都是广义线性模型的一个特例。当随机变量服从高斯分布，那么    得到的是线性最小二乘回归，当随机变量服从伯努利分布，则得到的是Logistic回归。    那么如
Logistic回归.pdf
07-11
logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于他们的因变量不同，其他的基本都差不多，正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalized linear model）。这一家族中的模型形式基本上都差不多，不同的就是因变量不同，如果是连续的，就是多重线性回归，如果是二项分布，就是logistic回归，如果是poisson分布，就是poisson回归，如果是负二项分布，就是负二项回归，等等。只要注意区分它们的因变量就可以了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值