逻辑回归算法梳理-2

任务二:逻辑回归算法梳理

1、逻辑回归与线性回归的联系与区别

1.1 相同点

两者都是广义线性模型 GLM (Generalized linear models)

关系:可以认为逻辑回归的输入是线性回归的输出,将逻辑斯蒂函数(Sigmoid曲线)作用于线性回归的输出得到输出结果。
逻辑回归的模型 是一个非线性模型,sigmoid函数,又称逻辑回归函数。但是它本质上又是一个线性回归模型,因为除去sigmoid映射函数关系,其他的步骤,算法都是线性回归的。可以说,逻辑回归,都是以线性回归为理论支持的。
只不过,线性模型,无法做到sigmoid的非线性形式,sigmoid可以轻松处理0/1分类问题。

1.2 不同点

因变量:当响应变量本质上是分类时,使用逻辑回归。 例如,是/否,真/假,红/绿/蓝,第1 第2 /第3 /第4等。当响应变量是连续的时,使用线性回归。 例如,重量,身高,小时数等。线性回归用来预测,直接分析因变量与自变量的关系,逻辑回归用来分类,分析因变量取某个值的概率与自变量的关系。

自变量:线性回归要求自变量服从正态分布,逻辑回归对变量的分布则没有要求。 线性回归要求自变量与因变量有线性关系,Logistic回归没有要求 。

方程:线性回归给出一个方程,其形式为 Y = mX + C,而逻辑回归给出了一个 Y = eX + e-X 形式的方程。

系数解释:在线性回归中,自变量的系数解释非常简单(即保持所有其他变量不变,该变量的单位增加,预期因变量增加/减少xxx)。但是,在逻辑回归中,取决于您使用的概率分布(二项式分布,泊松分布等)是什么,自变量系数的解释是不同的。

误差最小化技术:线性回归使用普通最小二乘法来最小化误差并达到最佳拟合,线性回归模型更容易受到异常值(outlier)的影响,有可能需要不断变换阈值(threshold),是会对异常值的惩罚严重,比如使用线性回归对 {0,1} 二分类问题做预测,则一个真值为1的样本,其预测值为50,那么将会对其产生很大的惩罚,这也和实际情况不符合,更大的预测值说明为1的可能性越大,而不应该惩罚的越严重。而逻辑回归使用对数似然函数进行参数估计,使用交叉熵作为损失函数,对预测错误的惩罚是随着输出的增大,逐渐逼近一个常数,这就不存在上述问题了。
举例:
在吴恩达的课程中有一个癌症的例子,对于分类问题,若用线性回归模型来预测癌症,显然对于有异常值的情况是不适用的,对准确率有影响。但是当使用逻辑回归模型时,就明显对异常值有较好的稳定性。所以线性回归更适合用来预测数据,对于这种分类问题还是需要逻辑回归来解决。如下图:

回归情况 示例
无异常值的线性回归 在这里插入图片描述
有异常值的线性回归 在这里插入图片描述
使用逻辑回归的方法进行分类 在这里插入图片描述

结果:在线性回归中,结果(因变量)是连续的。 它可以具有无数个可能值中的任何一个。线性回归是拟合函数,直接使用线性回归的输出作为概率是有问题的,因为其值有可能小于0或者大于1,这是不符合实际情况的。逻辑回归是预测函数,在逻辑回归中,结果(因变量)仅具有有限数量的可能值,其输出正是[0,1]区间。见下图,在这里插入图片描述

2、 逻辑回归的原理

逻辑回归(LR )的模型函数记作:y=h(x) ,具体形式如下():
在这里插入图片描述
对应到一元自变量的形式为:
在这里插入图片描述设 z=a+bx,则:
在这里插入图片描述这样的一个函数被称为逻辑函数,它在二维坐标中的表现是这样的:

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值