数据分析 | Logistic回归模型

一、Logistic回归模型

假定以下回归模型为：$z={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_p{x}_p$

则Logit变换为：
$$g(z)=\frac{1}{1+e^{-({\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_p{x}_p)}}=h_{\beta }(X)$$
上式中的$h_{\beta }(X)$也被称为Logistic回归模型，它是将线性回归模型的预测值经过非线性的Logit函数转换为[0,1]之间的概率值。

Logit函数使得原本$z\in (-\infty ,+\infty )$的值，限制在$(0,1)$之间，从而进行概率分类。下图是Logit函数 $g(z)=\frac{1}{1+e^{-z}}$函数图像

​

01 模型变换

条件概率，y取值为1时的概率：$P(y=1|X;\beta )=h_{\beta }(X)=p$

条件概率，y取值为0时的概率：$P(y=0|X;\beta )=1-h_{\beta }(X)=1-p$

则两个概率的商为：
p 1 − p = h β ( X ) 1 − h β ( X ) = e β 0 + β 1 x 1 + β 2 x 2 + ⋯ + β p x p \frac{p}{1-p}=\frac{h_\beta(X)}{1-h