逻辑回归(Logistic Regression)分类方法

Logistic回归也称Logit回归或Logit模型，是一个因变量是分类值的回归模型。

Logistic模型是特殊情况下的一般线性模型(General linear model)，可用来预测二值因变量的概率。其预测函数中使用到了Logistic Function (见公式 (1)(1))，所以称其为Logistic Regression。

logistic(x)=L1+e−k(x−μ)(1)(1)logistic(x)=L1+e−k(x−μ)

当L=1,k=1,μ=0L=1,k=1,μ=0时，logistic regression的预测函数为

hθ(x)=logistic(θT⋅x)=11+e−θT⋅x(2)(2)hθ(x)=logistic(θT⋅x)=11+e−θT⋅x

当响应值y∈{0,1}y∈{0,1}时

P(y=1|x;θ)=hθ(x)P(y=0|x;θ)=1−hθ(x)(3)(3)P(y=1|x;θ)=hθ(x)P(y=0|x;θ)=1−hθ(x)

将两种情况综合起来，

P(y|x;θ)=(hθ(x))y(1−hθ(x))1−y(4)(4)P(y|x;θ)=(hθ(x))y(1−hθ(x))1−y

取(4)(4)似然函数

L(θ)=∏i=1nP(yi|x;θ)=∏i=1n(hθ(xi))yi(1−hθ(xi))1−yi(5)