【第22期】观点:IT 行业加班,到底有没有价值?

关于线性回归和逻辑回归一些深入的思考

原创 2016年08月28日 15:07:08

  在学习完 Andrew Ng 教授的机器学习课程,和多方查阅大神的博客,本以为很简单的逻辑回归,在深思其细节的时候,很多容易让人不理解,甚至是疑惑的地方,这几天一直冥想其中的缘由。

1、 为什么是逻辑回归?
  都说线性回归用来做回归预测,逻辑回归用于做二分类,一个是解决回归问题,一个用于解决分类问题。但很多人问起逻辑回归和线性回归的区别,很多人会大喊一声(也可能是三声):逻辑回归就是对线性回归做了一个压缩,将y 的阈值从y(+,)压缩到(0,1)。那么问题来了,问什么仅仅做一个简单的压缩,就将回归问题变成了分类问题?里面蕴含着本质?
  首先要从数据说起,线性回归的样本的输出,都是连续值,y(+,)而,逻辑回归中y{0,1},只能取0和1。对于拟合函数也有本质上的差别:
  线性回归:f(x)=θTX=θ1x1+θ2x2++θnxn
  逻辑回归:f(x)=p(y=1x;θ)=g(θTX),其中,g(z)=11+ez
可以看出,线性回归的拟合函数,的确是对f(x)的输出变量y的拟合,而逻辑回归的拟合函数是对为1类的样本的概率的拟合。

2、那么,为什么要以1类样本的概率进行拟合呢,为什么可以这样拟合呢?
  首先,logstic 函数的本质说起。若要直接通过回归的方法去预测二分类问题, y 到底是0类还是1类,最好的函数是单位阶跃函数。然而单位阶跃函数不连续(GLM 的必要条件),而 logsitic 函数恰好接近于单位阶跃函数,且单调可微。于是希望通过该复合函数去拟合分类问题:
  

y=11+eθTX

于是有:
  
lny1y=θTX

发现如果我们假设 y=p(y1x;θ) 作为我们的拟合函数,等号左边的表达式的数学意义就是1类和0类的对数几率(log odds)。这个表达式的意思就是:用线性模型的预测结果去逼近1类和0类的几率比。于是,θTX=0就相当于是1类和0类的决策边界:
  当θTX>0,则有y>0.5;若θTX+ ,则y1 ,即y 为1类;
  当θTX<0,则有y<0.5 ; 若θTX,则y0,即 y 为0类。
  
  这个时候就能看出区别来了,在线性回归中θTX为预测值的拟合函数;而在逻辑回归中θTX=0为决策边界。

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

对线性回归、逻辑回归、各种回归的概念学习

回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设 特征 和 ...

机器学习实践中的 7 种常见错误

http://ml.posthaven.com/machine-learning-done-wrong http://blog.jobbole.com/70684/ Statistical mo...

程序员升职加薪指南!还缺一个“证”!

CSDN出品,立即查看!

对线性回归、逻辑回归、各种回归的概念学习

原文地址:http://blog.csdn.net/viewcode/article/details/8794401 版权声明:本文为博主原创文章,未经博主允许不得转载。 ...

【机器学习】线性回归和逻辑回归的理解

最近学习斯坦福大学Andrew Ng教授的machine learning课程,才学到第4课,感觉对线性回归(linear regression)和逻辑回归(logistic regression)总...

机器学习的概率与统计知识复习总结

机器学习中,很多算法的推导,需要概率和统计的很多知识。学校里学的时候,基本是囫囵吞枣,也忘得差不离了。 现在复习一下,找一些概率与统计这门课的感觉。主要理解下什么是随机变量,与概率的关系,要样本干什么...

对线性回归、逻辑回归、各种回归的概念学习

回归就是设法找出变量间在数量上的依存变化关系,用函数表达式表达出来,这个表达式称之为回归方程。 回归问题的条件/前提: 1)收集的数据 2)假设的模型 该模型是一个函数,这个函数含有未知的参数,通...

感知机、线性回归、逻辑回归的简单对比

感知机、线性回归、逻辑回归的简单对比 标签: 机器学习算法 1. 感知机算法(Perceptron Algorithm)  感知机算法是机器学习中的一个二分类监督学习算法,通过一个函数决定由向量代表的...
  • wgdzz
  • wgdzz
  • 2015-06-11 22:22
  • 5202

Logistic Regression(逻辑回归)原理及公式推导

Logistic Regression(逻辑回归)是机器学习中一个非常非常常见的模型,在实习生环境中也常常被使用,是一种经典的分类模型(不是回归模型)。本文主要介绍了Logistic Regressi...

逻辑回归与线性回归

相同点: 两者都是广义线性模型GLM(Generalized linear models)不同点: 1.线性回归要求因变量(假设为Y)是连续数值变量,而logistic回归要求因变量是离散的类型变...

Logistic Regression逻辑回归的简单解释

Logistic Regression也叫Logit Regression,在机器学习中属于参数估计的模型。逻辑回归与普通线性回归(Linear Regression)有很大的关系。在应用上,它们有所...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)