Logistic回归是数据分析中的一种常用分类算法。
要想使用Logistic回归,可以使用sklearn库中自带的方法
from sklearn.linear_model import LogisticRegression
# Logistic回归模型
model = LogisticRegression()
这种方式最为简便,但是为了深入理解Logistic回归算法的原理,我们也可以自己用代码实现Logistic回归。
Logistic回归数学原理
这里仅给出公式,不涉及具体的推导过程。
- 预测函数
h θ ( x ) = g ( θ T x ) = 1 1 + e − θ T x h_{\theta}(x) = g(\theta^Tx) = \frac{1}{1 + e^{-\theta^Tx}} hθ(x)=g(θTx)=1+e−θTx1
可以看到,实际上Logistic回归算法的预测函数就是sigmoid函数和线性方程的结合
S ( x ) = 1 1 + e − x S(x) = \frac{1}{1 + e^{-x} } S(x)=1+e−x1
f ( x ) = θ T x f(x) = \theta^Tx f(x)=θTx
- 损失函数
L ( θ ) = ∏ i = 1 n ( h θ ( x i ) ) y i ( 1 − h θ ( x i ) ) 1 − y i L(\theta) = \prod\limits_{i=1}^n(h_{\theta}(x_i))^{y_i}(1 - h_{\theta}(x_i))^{1-y_i} L(θ)=i=1∏n(hθ(xi))yi