机器学习--逻辑斯谛回归（Logistic Regression）

机器学习–逻辑斯谛回归（Logistic Regression）

基本概念

逻辑斯谛回归（Logistic Regression）虽然带回归，却是经典的分类方法。逻辑斯谛回归模型属于对数线性模型。它在线性模型的基础上，使用 Sigmoid 函数，将线性模型的结果映射到 [0, 1] 之间，实现了具体值到概率的转换。

线性回归：
$$f(x)=w^{T}x+b$$
Sigmoid：
$$S(x)=\frac{1}{1+e^{-x}}$$
l逻辑斯谛回归：
$$f(x)=S(w^{T}x)=\frac{1}{1+e^{-w^{T}x+b}}$$

逻辑斯谛分布

设 $X$ 是连续随机变量，当 $X$ 服从逻辑斯谛分布时，$X$ 的分布函数和密度函数可以表示为（《统计机器学习》）：
$$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$$
$$f(x)=F^{{}^{\prime }}(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}$$
其中，$\mu$ 为位置参数，$\gamma >0$ 为形状参数。

二项逻辑斯谛回归

二项逻辑斯谛回归模型（binomial logistic regression model）是一种分类模型。并且分类结果只有0和1两种。