逻辑回归

前言

逻辑回归形式简单、模型可解释性好、模型效果也不错，因此在工业界的使用率很高。逻辑回归属于监督学习中的分类模型，主要用于二分类。核心是利用logitistic函数拟合数据的到一件事情发生的概率，然后根据概率进行分类。

逻辑回归原理

logistic函数

逻辑回归的因变量取值只有0和1。假设在n个独立自变量$x_0 ; x_1;\cdots;x_n$

记y=1的概率为：

$$p=P(y=1|X)$$
记y=0的概率为：1-p。那么0和1的概率比(优势比 Odds)为

$$\frac{p}{1-p}$$

对odds取对数即得logistic变换

$$Logit(p)=ln(\frac{p}{1-p})$$
令

$$ln(\dfrac{p}{1-p})=z$$
则

$$p=\dfrac{1}{1+e^{-z}}$$