logistic回归深入篇(1)

转载 2015年07月07日 16:35:23


很早就接触到logistics regression,一直对其有几个点没有想明白,其中比较大的困惑就是为什么左边的公式要选择ln(p/1-p)而不是其他的公式,还有就是为什么一般将p=0.5作为正负样本的区分点

前言:本文讨论的是线性范畴

其实,要想想明白以上的问题,还得再多想一层,logistics regression(LR)存在的价值是什么?简单来讲,其初衷最初是为了解决因变量为二元状态的情况。再回忆一下多元线性回归的方程。(后续,本文用z表示公式右边的)

image

可以很明显的看出y的取值范围是负无穷到正无穷,那么自然,对于y是二元的情况,支持并不是很好。

那如何对左边做一些变化,让其可以较好的支持到这种情况呢?需同时满足两个条件,1)变化函数的域值需在负无穷到正无穷,2)需有一个变量能够很好的表现二元的情况,而这个变量本身是连续的但是又可以表示一定的倾向性。从这两个启发中,我们已经可以初见端倪了,函数应该是LOG函数了,而变量应该是概率p了,至此算是解开了LOG函数出现的谜团了

那为什么这个LOG函数不是lnP呢?而是ln(p/1-p)这样的函数形式呢?还记得第二个需求吧,p,p的范围是0-1,如果公式是lnp=z,那么p=exp(z),是一个典型的指数函数,函数的域值是大于0,小于无穷,而不是我们所期望的小于1了,至此,我们知道了我们的期望是能够构造出来的p的雏形了,那么我们试着构造一下0-1之间的p,p必须得小于1,那么函数形式应该为p=1-x,再进一步观察“x”应该是个取值为0-1的函数形式,那么有了p=1-1/x,再进一步这时“x”需要是个大于1的数,那么又有了p=1-1/(1+x),那么最后这个“x”是什么呢,域值大于0即可了?这时,是不是感觉有点耳熟呢,结合ln?=z这个目标公式去看,我们需要构造f(exp(z))这样的函数,那么这个x义不容辞就是exp(z)了,这样我们的公式完整了:

p=1-1/(1+exp(z))

进行公式变换,我们得到ln(p/1-p)=z,这样LOG函数是ln(p/1-p)这个谜团也解开了。

至此,我们回答了引言中的第一个困惑,那么我们来看看第二个困惑。首先,我们将Z与P的图画了出来,这时一个倒S形的图,可以发现图像先平稳前进突然骤然上升然后又平稳向前,从整体来说,这样的图像是棱角比较分明的,有很好的区分性,我们再细看一下,图的中心在Z=0,P=0.5处,往左走,P的取值全部小于0.5,往右走,P的取值全部大于0.5,这时,应该会明白了,为什么最后用LR算法,一般是取0.5为正负样本预测的边界了。因此,这样可以说明,如果建立出来的LR模型比较靠谱的时候,用0.5作为分界点即可了。

image

相关文章推荐

【机器学习笔记1】Logistic回归总结

Logistic回归总结 作者:洞庭之子 微博:洞庭之子-Bing (2013年11月) PDF下载地址:http://download.csdn.net/deta...

Logistic回归----Matlab/Python(1)

单变量线性回归 (matlab) 多变量线性回归 (matlab) 基于Logistic回归和Sigmoid函数的分类 (matlab、python) 梯度上升法 改进的梯度上升法 matlab、py...

《机器学习实战》第五章:Logistic回归(1)基本概念和简单实例

最近感觉时间越来越宝贵,越来越不够用。不过还是抽空看了点书,然后整理到博客来。 加快点节奏,废话少说。 Keep calm & carry on. -------------------------...

分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵

Posted on 2008/12/25 by 胡江堂 跑完分类模型(Logistic回归、决策树、神经网络等),我们经常面对一大堆模型评估的报表和指标,如Confusion Matrix、RO...

分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵

跑完分类模型(Logistic回归、决策树、神经网络等),我们经常面对一大堆模型评估的报表和指标,如Confusion Matrix、ROC、Lift、Gini、K-S之类(这个单子可以列很长),往往...

《机器学习实战》Logistic回归算法(1)

============================================================================================ 《机器学习实战...

分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵

跑完分类模型(Logistic回归、决策树、神经网络等),我们经常面对一大堆模型评估的报表和指标,如Confusion Matrix、ROC、Lift、Gini、K-S之类(这个单子可以列很长),往往...

logistic回归的实现

  • 2016-01-27 18:15
  • 12KB
  • 下载

Logistic回归总结

  • 2016-07-01 10:10
  • 450KB
  • 下载

Logistic回归 Python实现

Logistic回归Logistic函数f(x)=11+e−xf(x) = \frac{1}{1+e^{-x}} 其函数图像为: 绘图方法>>> import numpy as np >>> x ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)