模型知识点:logistic详解,logistic与softmax 与 Lasso regression 与 ridge regression , L0、L1、L2范式 。
一,logistic回归
通常目标标签数据都是以概率的形式给出,而概率p的取值在0到1之间,
因此直接把概率 p=z(x) 与x之间直接建立起函数关系是不合适的,即 p=z(x)=α+βx 。
因此人们通常用p的某个函数f(p)来与x之间建立函数关系,即 f(p)=z(x)=α+βx 。
几率(odds):一个事件的几率,是指该时间发生于不发生的概率比值,若事件发生为p,那么事件发生的几率就是 odds=p1−p 。
对数几率(log odds或logit):对数几率就是 logit(p)=lnp1−p 。
所以logistic回归就是在目标标签的对数几率和特征之间建立线性关系的模型,即 logit(p)=lnp1−p=f(p)=z(x)=α+βx ,求得 p=11+e−z(x) 。
分类问题中为什么logistic比线性回归好:
线性回归用于分类,y = z(x) = α + βx。
这主要是由于线性回归在整个实数域内敏感度一致,每个样本考虑的权重一样,每个样本对回归线的都有相同的影响。而逻辑回归在z(x) = 0时,十分敏感,在z(x) >> 0或z(x) << 0处,都不敏感,更在意z(x) = 0附近的数据是否被正确分类,z(x) = 0附近的数据对模型参数的影响更大,因为逻辑回归把z(x) >> 0或z(x) << 0处的数据都压缩在一起,对于p来说,它们的差异很小。线性回归更多的是找数据拟合线,而logistic找的是数据分割线。下图是logistic的密度函数和分布函数:
最后加一点,logistic模型的MLE估计和log对数损失函数估计是等价的。
二,softmax
Logistic回归模型是softmax的特殊形式。Softmax是n分类模型,其中每一类的概率计算如下: