logistics模型的训练

逻辑斯蒂回归

$P(Y=1|x)=\frac{exp(w*x)}{1+exp(w*x)}$

具体的推导可以看《统计学习基础》这本书。

一、逻辑斯蒂回归有什么特点

1、逻辑斯蒂回归实际上是对简单的线性加权回归的一种非线性化，在线性组合$w*x$的上面加了一个sigmod函数，从而转化到非线性问题

2、这里的的转化的一个好处是，所有的数据都映射到了0和1之间，这对于应对奇异点的影响具有非常大的作用。

二、模型的参数估计使用最大似然估计。

这里的具体的似然函数咱么写，参考教材。

最后可以得到

$L(w)=\sum_{i=1}^{N}[y_{i}(w*x_{i})-log(1+exp(w*x_{i}))]$

 

三、模型的训练问题

关键是模型的训练，有了上面的似然函数，模型训练的目的是要找到一组参数w使上面的似然函数最小。

1、随机梯度下降法

随机选取样本计算相应的梯度，并且使用一定的步长，对w进行更新，因为是一个凸规划问题，所以一定可以找到最优解，沿着梯度变化。

2、改进的随机梯度下降法

步长如果一直保持不变，那么容易引起在最优价附件的波动。改进的方式，是使用动态自适应的步长，步长随着迭代次数的增加不断的减小，但是不能减小到0，所以在上面添加一个常数因子。

 

四、应用

许多大公司实际上在处理上亿的大规模数据的时候用的比较多的算法实际上就是逻辑斯蒂回归，原因是简单可依赖。实际当中的实时性问题，不如今天的变化要作用域明天，比较复杂的模型无法做到这点。

[1] http://m.blog.csdn.net/blog/njustzj001/46755679

转载于:https://www.cnblogs.com/deepblueme/p/4789463.html