Logistic Regression - part 1

Logistic Regression - part 1

原文地址：https://www.jianshu.com/p/6af80ce10694 ， 有删改

---

 

logistic回归是统计学习中的经典分类方法,他属于对数线性模型,logistic回归来源于logistic分布,先从logistic分布说起

 

Logistic distribution

设X是连续随机变量,X服从logistic分布,其分布函数和概率密度函数如下:

分布函数

其中,μ为位置参数,s为形状参数

 

分布函数即为通常所说的logistic函数,其图像关于(μ,0.5)对称,满足:
F(-x+μ)+F(x-μ)=1
曲线在中心附近增长速度较快,在两端增长速度较慢.(这个特性将使得使用梯度下降优化模型时,可以对误分样本快速调整)
形状参数s的值越小,曲线在中心附近增长得越快

 

概率密度函数

其中,μ为位置参数,s为形状参数

 

 

二项logistic回归

二项logistic回归(binomial logistic regression)是一种分类模型,由条件概率分布P(Y|X)表示,形式为参数化的logistic分布.这里,随机变量X取值为实数,随机变量Y取值为1或0.通过监督学习的方法来估计模型参数

概率的公理化定义

柯尔莫哥洛夫给出了概率的公理化定义:

• 0≤P(A)≤1
• P(Ω)=1,P(∅)=0,必然事件概率为1,不可能事件概率为0
• 加法定理:若干个互斥事件之和的概率等于各事件的概率之和,即P(A1+A2+...)=P(A)+P(B)+...事件的个数可以是有限的或无限的

条件概率分布

二项logistic回归模型是如下的条件概率分布(该条件概率分布满足上述公理化定义,所以可以作为概率,通过训练使得这个概率值更准确):
P(Y=1|x)=F(X≤x), P(Y=0|x)=1-F(X≤x)=F(X>x)

或表示成如下形式

logistic回归采用的是logistic分布函数,对于任意x,F(x)最小值为0,最大值为1,相当于把实数域R映射到(0,1)上.
对于给定的输入实例x,按照上式求出P(Y=1|x)和P(Y=0|x),比较两个条件概率的大小,将实例x分到概率值较大的那一类.

即 

 

logistic回归模型的特点

事件发生的概率与不发生的概率之比称作事件的几率(odds),考察logistic回归的对数几率(log odds)或logit函数:

这就是说,在logistic回归模型中,输出Y=1的对数几率是输入x的线性函数.或者说,输出Y=1的对数几率是由输入x的线性函数表示的模型.(同样地,输出Y=0的对数几率是-wx,x越大则Y=0的对数几率越小,x越小则Y=0的对数几率越大.这样说不满足几率的定义,但是这样解释没有问题,嗯)
换一个角度看,考虑对输入x进行分类的线性函数wx,其值域为实数域.注意这里x∈R_(n+1),w∈R_(n+1).通过logistic回归模型可以将wx转换为概率.这时,线性函数wx的值越接近正无穷,概率值越接近1;线性函数wx的值越接近负无穷,概率值越接近0
这样的模型就是logistic回归模型