关于线性回归和逻辑回归一些深入的思考

原创 2016年08月28日 15:07:08

  在学习完 Andrew Ng 教授的机器学习课程,和多方查阅大神的博客,本以为很简单的逻辑回归,在深思其细节的时候,很多容易让人不理解,甚至是疑惑的地方,这几天一直冥想其中的缘由。

1、 为什么是逻辑回归?
  都说线性回归用来做回归预测,逻辑回归用于做二分类,一个是解决回归问题,一个用于解决分类问题。但很多人问起逻辑回归和线性回归的区别,很多人会大喊一声(也可能是三声):逻辑回归就是对线性回归做了一个压缩,将y 的阈值从y(+,)压缩到(0,1)。那么问题来了,问什么仅仅做一个简单的压缩,就将回归问题变成了分类问题?里面蕴含着本质?
  首先要从数据说起,线性回归的样本的输出,都是连续值,y(+,)而,逻辑回归中y{0,1},只能取0和1。对于拟合函数也有本质上的差别:
  线性回归:f(x)=θTX=θ1x1+θ2x2++θnxn
  逻辑回归:f(x)=p(y=1x;θ)=g(θTX),其中,g(z)=11+ez
可以看出,线性回归的拟合函数,的确是对f(x)的输出变量y的拟合,而逻辑回归的拟合函数是对为1类的样本的概率的拟合。

2、那么,为什么要以1类样本的概率进行拟合呢,为什么可以这样拟合呢?
  首先,logstic 函数的本质说起。若要直接通过回归的方法去预测二分类问题, y 到底是0类还是1类,最好的函数是单位阶跃函数。然而单位阶跃函数不连续(GLM 的必要条件),而 logsitic 函数恰好接近于单位阶跃函数,且单调可微。于是希望通过该复合函数去拟合分类问题:
  

y=11+eθTX

于是有:
  
lny1y=θTX

发现如果我们假设 y=p(y1x;θ) 作为我们的拟合函数,等号左边的表达式的数学意义就是1类和0类的对数几率(log odds)。这个表达式的意思就是:用线性模型的预测结果去逼近1类和0类的几率比。于是,θTX=0就相当于是1类和0类的决策边界:
  当θTX>0,则有y>0.5;若θTX+ ,则y1 ,即y 为1类;
  当θTX<0,则有y<0.5 ; 若θTX,则y0,即 y 为0类。
  
  这个时候就能看出区别来了,在线性回归中θTX为预测值的拟合函数;而在逻辑回归中θTX=0为决策边界。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

理解线性回归(三)——岭回归Ridge Regression

Scikit-Learn学习笔记——岭回归Ridge Regression

各种优化方法总结比较(sgd/momentum/Nesterov/adagrad/adadelta)

前言这里讨论的优化问题指的是,给定目标函数f(x),我们需要找到一组参数x,使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识,和梯度下降的原理。SGDSGD指stochastic g...

机器学习的概率与统计知识复习总结

机器学习中,很多算法的推导,需要概率和统计的很多知识。学校里学的时候,基本是囫囵吞枣,也忘得差不离了。 现在复习一下,找一些概率与统计这门课的感觉。主要理解下什么是随机变量,与概率的关系,要样本干什么...

对线性回归、逻辑回归、各种回归的概念学习

回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设 特征 和 ...

逻辑回归

什么是逻辑回归? Logistic回归与多重线性回归实际上有很多相同之处,最大的区别就在于它们的因变量不同,其他的基本都差不多。正是因为如此,这两种回归可以归于同一个家族,即广义线性模型(gener...
  • pakko
  • pakko
  • 2014-07-16 15:42
  • 193297

机器学习:特征缩减技术(shrinkage): lasso和岭回归

1. 理论 概述:通过对损失函数(即优化目标)加入惩罚项,使得训练求解参数过程中会考虑到系数的大小,通过设置缩减系数(惩罚系数),会使得影响较小的特征的系数衰减到0,只保留重要的特征。常用的缩减系数方...

对线性回归、逻辑回归、各种回归的概念学习

CSDN学院招募微信小程序讲师啦      程序猿全指南,让【移动开发】更简单!        【观点】移动原生App开发 PK HTML 5开发     云端应用...
  • mmbbz
  • mmbbz
  • 2017-02-08 15:37
  • 152

确保对象的唯一性——单例模式 (一)

3.1 单例模式的动机      对于一个软件系统的某些类而言,我们无须创建多个实例。举个大家都熟知的例子——Windows任务管理器,如图3-1所示,我们可以做一个这样的尝试,在Windows的“任...

确保对象的唯一性——单例模式 (三)

3.4 饿汉式单例与懒汉式单例的讨论      Sunny公司开发人员使用单例模式实现了负载均衡器的设计,但是在实际使用中出现了一个非常严重的问题,当负载均衡器在启动过程中用户再次启动该负载均衡器时,...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)