文章标题

Logistic回归

逻辑斯蒂回归是统计学习中的经典分类方法。假设现在有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就称作回归。利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立公式，依此进行分类。

训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。

---

首先介绍Logistic分布

定义：设 X 是连续随机变量，X 服从Logistic分布是指 X 具有下列分布函数和密度函数：

$$F(x) = P(X<=x)= \frac{1}{1+e^{-(x-μ)/r}}$$
$$f(x)=F^\prime(x)=\frac{e^{-(x-μ)/r}}{\gamma(1+e^{-(x-μ)/r})^2}$$
式中，μ为位置参数，γ为形状参数。

逻辑斯蒂分布的密度函数f(x) 和分布函数F(x)的图形如下图，分布函数属于逻辑斯蒂函数，其图形是一条S形曲线，该曲线以点(μ,1/2)为中心对称，即满足：

$$F(-x+μ)-\frac{1}{2} = -F(x+μ)+\frac{1}{2}$$
曲线在中心附近增长速度很快，在两端增长速度很慢。形状参数γ的值越小，曲线在中心附近增长得越快。
F(x) f(x)

逻辑回归与线性回归的关系：

这两者都是一种广义线性回归模型。逻辑回归假设因变量y服从伯努利分布，而线性回归假设因变量y服从高斯分布。因此与线性回归有许多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。可以说，逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题。

---