关于线性回归和逻辑回归一些深入的思考

原创 2016年08月28日 15:07:08

  在学习完 Andrew Ng 教授的机器学习课程,和多方查阅大神的博客,本以为很简单的逻辑回归,在深思其细节的时候,很多容易让人不理解,甚至是疑惑的地方,这几天一直冥想其中的缘由。

1、 为什么是逻辑回归?
  都说线性回归用来做回归预测,逻辑回归用于做二分类,一个是解决回归问题,一个用于解决分类问题。但很多人问起逻辑回归和线性回归的区别,很多人会大喊一声(也可能是三声):逻辑回归就是对线性回归做了一个压缩,将y 的阈值从y(+,)压缩到(0,1)。那么问题来了,问什么仅仅做一个简单的压缩,就将回归问题变成了分类问题?里面蕴含着本质?
  首先要从数据说起,线性回归的样本的输出,都是连续值,y(+,)而,逻辑回归中y{0,1},只能取0和1。对于拟合函数也有本质上的差别:
  线性回归:f(x)=θTX=θ1x1+θ2x2++θnxn
  逻辑回归:f(x)=p(y=1x;θ)=g(θTX),其中,g(z)=11+ez
可以看出,线性回归的拟合函数,的确是对f(x)的输出变量y的拟合,而逻辑回归的拟合函数是对为1类的样本的概率的拟合。

2、那么,为什么要以1类样本的概率进行拟合呢,为什么可以这样拟合呢?
  首先,logstic 函数的本质说起。若要直接通过回归的方法去预测二分类问题, y 到底是0类还是1类,最好的函数是单位阶跃函数。然而单位阶跃函数不连续(GLM 的必要条件),而 logsitic 函数恰好接近于单位阶跃函数,且单调可微。于是希望通过该复合函数去拟合分类问题:
  

y=11+eθTX

于是有:
  
lny1y=θTX

发现如果我们假设 y=p(y1x;θ) 作为我们的拟合函数,等号左边的表达式的数学意义就是1类和0类的对数几率(log odds)。这个表达式的意思就是:用线性模型的预测结果去逼近1类和0类的几率比。于是,θTX=0就相当于是1类和0类的决策边界:
  当θTX>0,则有y>0.5;若θTX+ ,则y1 ,即y 为1类;
  当θTX<0,则有y<0.5 ; 若θTX,则y0,即 y 为0类。
  
  这个时候就能看出区别来了,在线性回归中θTX为预测值的拟合函数;而在逻辑回归中θTX=0为决策边界。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

对线性回归、逻辑回归、各种回归的概念学习

回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设 特征 和 ...
  • viewcode
  • viewcode
  • 2013年04月17日 16:33
  • 224031

逻辑回归

什么是逻辑回归? Logistic回归与多重线性回归实际上有很多相同之处,最大的区别就在于它们的因变量不同,其他的基本都差不多。正是因为如此,这两种回归可以归于同一个家族,即广义线性模型(gener...
  • pakko
  • pakko
  • 2014年07月16日 15:42
  • 206351

《机器学习》学习笔记(一):线性回归、逻辑回归

本笔记主要记录学习《机器学习》的总结体会。如有理解不到位的地方,欢迎大家指出,我会努力改正。     在学习《机器学习》时,我主要是通过Andrew Ng教授在mooc上提供的《Machine Le...

对线性回归、逻辑回归、各种回归的概念学习

转载自:http://blog.csdn.net/viewcode/article/details/8794401 回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这...

【机器学习】线性回归和逻辑回归的理解

最近学习斯坦福大学Andrew Ng教授的machine learning课程,才学到第4课,感觉对线性回归(linear regression)和逻辑回归(logistic regression)总...

机器学习系列:(四)从线性回归到逻辑回归

从线性回归到逻辑回归 在第2章,线性回归里面,我们介绍了一元线性回归,多元线性回归和多项式回归。这些模型都是广义线性回归模型的具体形式,广义线性回归是一种灵活的框架,比普通线性回归要求更少的假设。...

机器学习-对线性回归、逻辑回归、各种回归的概念学习

回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设 特征 和 结果...
  • ko_tin
  • ko_tin
  • 2016年11月20日 00:13
  • 1123

线性回归和逻辑回归的区别

线性回归:根据几组已知数据(x(1),y(1)),(x(2),y(2)),...,(x(i),y(i)),...,(x(n),y(n)){(x^{(1)},y^{(1)}),(x^{(2)},y^{(...

机器学习算法总结--线性回归和逻辑回归

1. 线性回归简述在统计学中,线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系...
  • lc013
  • lc013
  • 2017年02月12日 19:02
  • 1490

对线性回归、逻辑回归、各种回归的概念学习

回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于线性回归和逻辑回归一些深入的思考
举报原因:
原因补充:

(最多只允许输入30个字)