关于线性回归和逻辑回归一些深入的思考

原创 2016年08月28日 15:07:08

  在学习完 Andrew Ng 教授的机器学习课程,和多方查阅大神的博客,本以为很简单的逻辑回归,在深思其细节的时候,很多容易让人不理解,甚至是疑惑的地方,这几天一直冥想其中的缘由。

1、 为什么是逻辑回归?
  都说线性回归用来做回归预测,逻辑回归用于做二分类,一个是解决回归问题,一个用于解决分类问题。但很多人问起逻辑回归和线性回归的区别,很多人会大喊一声(也可能是三声):逻辑回归就是对线性回归做了一个压缩,将y 的阈值从y(+,)压缩到(0,1)。那么问题来了,问什么仅仅做一个简单的压缩,就将回归问题变成了分类问题?里面蕴含着本质?
  首先要从数据说起,线性回归的样本的输出,都是连续值,y(+,)而,逻辑回归中y{0,1},只能取0和1。对于拟合函数也有本质上的差别:
  线性回归:f(x)=θTX=θ1x1+θ2x2++θnxn
  逻辑回归:f(x)=p(y=1x;θ)=g(θTX),其中,g(z)=11+ez
可以看出,线性回归的拟合函数,的确是对f(x)的输出变量y的拟合,而逻辑回归的拟合函数是对为1类的样本的概率的拟合。

2、那么,为什么要以1类样本的概率进行拟合呢,为什么可以这样拟合呢?
  首先,logstic 函数的本质说起。若要直接通过回归的方法去预测二分类问题, y 到底是0类还是1类,最好的函数是单位阶跃函数。然而单位阶跃函数不连续(GLM 的必要条件),而 logsitic 函数恰好接近于单位阶跃函数,且单调可微。于是希望通过该复合函数去拟合分类问题:
  

y=11+eθTX

于是有:
  
lny1y=θTX

发现如果我们假设 y=p(y1x;θ) 作为我们的拟合函数,等号左边的表达式的数学意义就是1类和0类的对数几率(log odds)。这个表达式的意思就是:用线性模型的预测结果去逼近1类和0类的几率比。于是,θTX=0就相当于是1类和0类的决策边界:
  当θTX>0,则有y>0.5;若θTX+ ,则y1 ,即y 为1类;
  当θTX<0,则有y<0.5 ; 若θTX,则y0,即 y 为0类。
  
  这个时候就能看出区别来了,在线性回归中θTX为预测值的拟合函数;而在逻辑回归中θTX=0为决策边界。

版权声明:本文为博主原创文章,未经博主允许不得转载。

线性回归和逻辑回归的区别

线性回归:根据几组已知数据(x(1),y(1)),(x(2),y(2)),...,(x(i),y(i)),...,(x(n),y(n)){(x^{(1)},y^{(1)}),(x^{(2)},y^{(...
  • yunhaitianguang
  • yunhaitianguang
  • 2015年02月18日 18:48
  • 5734

对线性回归、逻辑回归、各种回归的概念学习

回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设 特征 和 ...
  • viewcode
  • viewcode
  • 2013年04月17日 16:33
  • 237179

逻辑回归和线性回归区别

1)线性回归要求变量服从正态分布,logistic回归对变量分布没有要求。 2)线性回归要求因变量是连续性数值变量,而logistic回归要求因变量是分类型变量。 3)线性回归要求自变量和因变量呈...
  • gcs1024
  • gcs1024
  • 2017年08月22日 11:55
  • 500

机器学习(二)逻辑回归

逻辑回归于线性回归的区别: (1)线性回归的函数拟合,用于数值预测,逻辑回归是二分类算法,用于分类 (2)线性回归模型: 逻辑回归模型: 也就是说逻辑回归其实是在线性回归的基础上,加了一个激励函数...
  • hjimce
  • hjimce
  • 2015年05月01日 13:30
  • 2256

【机器学习】线性回归和逻辑回归的理解

最近学习斯坦福大学Andrew Ng教授的machine learning课程,才学到第4课,感觉对线性回归(linear regression)和逻辑回归(logistic regression)总...
  • chenoo0539
  • chenoo0539
  • 2014年12月29日 20:46
  • 2539

机器学习-对线性回归、逻辑回归、各种回归的概念学习

回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设 特征 和 结果...
  • ko_tin
  • ko_tin
  • 2016年11月20日 00:13
  • 1429

逻辑回归与线性回归

相同点: 两者都是广义线性模型GLM(Generalized linear models)不同点: 1.线性回归要求因变量(假设为Y)是连续数值变量,而logistic回归要求因变量是离散的类型变...
  • bitcarmanlee
  • bitcarmanlee
  • 2016年04月27日 18:01
  • 1291

线性回归、逻辑回归等问题对比分析总结

回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. ...
  • u010159842
  • u010159842
  • 2015年08月07日 15:38
  • 1869

机器学习算法总结--线性回归和逻辑回归

1. 线性回归简述在统计学中,线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系...
  • lc013
  • lc013
  • 2017年02月12日 19:02
  • 2184

线性回归与逻辑回归

回归算法是一种通过最小化预测值与实际结果值之间的差距,而得到输入特征之间的最佳组合方式的一类算法。对于连续值预测有线性回归等,而对于离散值/类别预测,我们也可以把逻辑回归等也视作回归算法的一种。  ...
  • JoyceWYJ
  • JoyceWYJ
  • 2016年06月06日 17:04
  • 4855
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于线性回归和逻辑回归一些深入的思考
举报原因:
原因补充:

(最多只允许输入30个字)