r语言逻辑回归_R语言机器学习 | 3 逻辑回归

1 基础知识

逻辑回归(logistic regression)是线性回归的推广,属于广义线性模型(generalized linear model)的一种。

所谓广义线性回归,本质上仍然是线性回归,只是把线性回归中的y变成了关于y的函数。举个例子,最简单的单个自变量的线性回归方程为:y=ax+b,现在把y在对数尺度上进行变换,即变为lny=ax+b,也就是y = exp(ax+b)。该回归方程显然是非线性的,但实质上可以通过对y取自然对数,使其变回线性回归(显然当y已知的时候,lny也是已知的)。所以,大家把这种对y进行一定变换后可以变回线性回归的方程叫做广义线性回归。

相比于一般的线性回归,逻辑回归的用途是进行分类。说白了,就是其因变量Y不再是连续变量,而是类别变量(尤其是二分类变量)。比如,要根据某些特征,来判断一个人是吃货or不是吃货,就可以用到逻辑回归。

如果要用回归做二分类问题,那因变量Y的取值只能是{0,1}。以分类是不是吃货为例,我们希望是吃货(阳性)的样本被分类到1,不是吃货(阴性)的样本被分类到0。按照这个逻辑,分类函数理应是这么一个单位阶跃函数(纵坐标y,横坐标ax+b):

4631cce4890e1344c0a998056580e46c.png

单位阶跃函数,ax+b<0时y=0;ax+b>0时y=1;ax+b=0时y=0

但是阶跃函数不是一个连续函数,这在进行计算的时候会存在问题。因此,通常会用一种近似单位阶跃函数的sigmoid函数来进行分类问题的解决,这也就是逻辑回归的函数表达,其数学表达式见下图。当然,要注意这个表达式只描述了一个自变量的情况,所以指数是-(a+bx),多个自变量的话e的指数就是-(a+b1x1+b2x2+...)。

bd1e1a749298529d9c97d6f460107669.png

逻辑回归的函数图像

a806aa1c757803198f0aa698fa1159c5.png

逻辑回归的表达式

这个表达式显然是非线性的,但是可以通过对y进行一些数学变换使其变回线性回归。具体而言,将y变换为 ln(y/1-y),即可得到 l

  • 1
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值