logistic回归

模型知识点：logistic详解，logistic与softmax 与 Lasso regression 与 ridge regression ， L0、L1、L2范式 。

一，logistic回归

通常目标标签数据都是以概率的形式给出，而概率p的取值在0到1之间，
因此直接把概率$p = z(x)$与x之间直接建立起函数关系是不合适的，即$p = z(x) = α + βx$。
因此人们通常用p的某个函数f(p)来与x之间建立函数关系，即$f(p) = z(x) = α + βx$。
几率(odds)：一个事件的几率，是指该时间发生于不发生的概率比值，若事件发生为p，那么事件发生的几率就是$odds = \frac{p}{1-p}$。
对数几率(log odds或logit)：对数几率就是$logit(p) = \ln \frac{p}{1-p}$。
所以logistic回归就是在目标标签的对数几率和特征之间建立线性关系的模型，即$logit(p)= \ln \frac{p}{1-p}= f(p) = z(x) = α + βx$，求得$p = \frac{1}{1+ e^{-z(x)}}$。

分类问题中为什么logistic比线性回归好：
线性回归用于分类，y = z(x) = α + βx。

这主要是由于线性回归在整个实数域内敏感度一致，每个样本考虑的权重一样，每个样本对回归线的都有相同的影响。而逻辑回归在z(x) = 0时，十分敏感，在z(x) >> 0或z(x) << 0处，都不敏感，更在意z(x) = 0附近的数据是否被正确分类，z(x) = 0附近的数据对模型参数的影响更大，因为逻辑回归把z(x) >> 0或z(x) << 0处的数据都压缩在一起，对于p来说，它们的差异很小。线性回归更多的是找数据拟合线，而logistic找的是数据分割线。下图是logistic的密度函数和分布函数：

最后加一点，logistic模型的MLE估计和log对数损失函数估计是等价的。

二，softmax

Logistic回归模型是softmax的特殊形式。Softmax是n分类模型，其中每一类的概率计算如下:

⎛⎝⎜⎜⎜p1p2...pn⎞⎠⎟⎟⎟=