逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法,属于判别模型。
#1. 逻辑斯谛回归模型定义
在 Andrew NG 的 Machine Learning 课程和李航的统计学习方法中,都有对逻辑斯谛回归模型的介绍,然而二者却对模型有着不同的定义。
##1.1 决策函数
Andrew NG 课程中,对二项逻辑回归模型的决策函数如下:
h θ ( x ) = g ( θ T x ) h_\theta(x)=g(\theta^Tx) hθ(x)=g(θTx)
g ( z ) g(z) g(z) 为Sigmoid函数:
y = g ( z ) = 1 1 + e − z y=g(z)= \frac {1}{1+e^{-z}} y=g(z)=1+e−z1.
其中 θ \theta θ 为参数. 当 z ≥ 0 z \geq 0 z≥0 时, 0.5 ≤ y < 1 0.5 \leq y < 1 0.5≤y<1; 当 z < 0 z< 0 z<0 时, 0 < y < 0.5 0 < y < 0.5 0<y<0.5.
h θ ( x ) h_\theta(x) hθ(x) 的取值代表 y = 1 y=1 y=1 的可能性的大小,若 h h h 大于0.5,那么就取1,如果小于0.5就取0.
##1.2 条件概率分布
统计学习方法中,二项逻辑回归模型是如下函数定义的条件概率分布:
KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ P(Y=1|x)=&\fra…
这里, x ∈ R n x\in \mathbb{R}^n x∈Rn 是输入, Y ∈ { 0 , 1 } Y\in \{0,1\} Y∈{ 0