机器学习之逻辑回归

目录

1.什么是逻辑回归

2.与线性回归的区别和联系

3.sigmoid函数

4.逻辑回归求解方法

补充


1.什么是逻辑回归

逻辑回归不是回归,而是一种分类。逻辑回归(Logistic Regression)广泛应用在二分类问题中。虽然有“回归”二字,但实际上是一种线性模型,它用于预测一个事件发生的概率,核心是将线性回归的输出通过一个特定的函数(称为逻辑函数或Sigmoid函数)映射到0和1之间,从而进行分类。

逻辑回归是一种比较简单的算法,在机器学习中,效果差不多的情况下,尽量选择简单的算法,越复杂的算法,过拟合风险越高。这也是为什么逻辑回归更加流行,而神经网络难以应用的原因。

同时逻辑回归的决策边界也可以是非线性的,如下图的黑色线。

2.与线性回归的区别和联系

线性回归最终得到一个数,而逻辑回归最终得到两个结果。举个简单的例子:房价与房屋面积、朝向、地址等特征变量存在相关性,例如房屋面积越大,房价就越高。这种特征变量和目标变量之间的内在规律,就可以用线性回归算法来表达。

但如果“房价”不再给出具体的数值,而是按照划分标准给出“高档房屋”“普通房屋”这种分类,我们又该如何让机器去预测房子属于哪一种房屋呢?

线性回归算出来的“房价”是一个数值(-∞,+∞)。而现在给出的“房价”已经不再是具体数值了,而是分类数据“普通房屋”和“高档房屋”。这个分类数据标准化处理后可以表达为0和1,其中0表示“普通房屋”,1表示“高档房屋”。

这意味着我们需要把f(x)的取值范围从(-∞,+∞)变为(0,1),我们就要改造线性回归算法将其函数值压缩为0~1。而sigmoid函数恰好提供了这样的功能。也就是我们将线性回归算法中得到的最终值映射在sigmoid函数上,这时候就讲究概率了,如果它大于0.5,就认为更可能属于1“高档房屋”,小于0.5就认为更可能属于0“普通房屋”。

3.sigmoid函数

sigmoid函数及其图像如下

其中就是线性回归中的预测值,g就是sigmoid函数。这就是映射的过程

分类概率如下:有h(x)的概率属于1,那么就有1-h(x)概率属于0。

将上面两个式子整合如下:当y=1时,概率为h(x),当y=0时概率为1-h(x)

4.逻辑回归求解方法

求解方法思路和线性回归完全一致(参考专栏内最小二乘法和梯度下降法)。似然函数--对数似然--令对数似然最大化,最后加个负号转换为梯度下降。

最终的J(θ)表达式如下

补充

逻辑回归是一种典型的分类问题处理算法,它同样可以做多分类问题。其中二分类(LR)是多分类 (softmax)的基础或者说多分类可以由多个二分类模拟得到。工程实践中,LR输出结果是概率 的形式,而不仅是简单的0和1分类判定,同时LR具有很高的可解释性,非常受工程界青睐, 是分类问题的首选算法。

而神经网络、支持向量机这类的模型,它们内部很多参数都是不可解释的,没有实际的物理含义,虽然能得到一个效果,但是我们不明白究竟是怎么得到的,解释性不如逻辑回归强,因此不管怎样,先考虑逻辑回归,不行再去考虑其他算法。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值