逻辑回归算法原理
① 逻辑回归是一个分类模型,并且广泛应用于各个领域之中。针对的是数据响应变量的取值不是连续的,分布不是正态的情况。
② 二分类的Logistic回归:因变量Y取值为0或1,一般我们将感兴趣的那一类取值为“1”
③ 在给定 X = x X=x X=x的情况下,因变量的条件分布是0—1分布,其条件期望实际上就是因变量在自变量的某种水平下取“1”的概率.
E ( Y ∣ X = x ) = 1 ⋅ P ( Y = 1 ∣ X = x ) + 0 ⋅ P ( Y = 0 ∣ X = x ) E(Y|X=x)=1\cdot P(Y=1|X=x)+0\cdot P(Y=0|X=x) E(Y∣X=x)=1⋅P(Y=1∣X=x)+0⋅P(Y=0∣X=x)
P ( Y = 1 ∣ X = x ) = p = e β 0 + β T x 1 + e β 0 + β T x P(Y=1|X=x)=p=\frac{e^{\beta_0+\beta^Tx}}{1+e^{\beta_0+\beta^Tx}} P(Y=1∣X=x)=p=1+eβ0+βTxeβ0+βTx
④ logit变化为
ln p 1 −