LR模型的原理和公式推导

介绍

Logistic回归算法，名字虽带有回归，但其实是一个分类模型。
输出Y=1的对数几率是由输入x的线性函数表示的模型，直接对分类的可能性进行建模，并不是直接对分类的结果（0或者1）进行建模：
假设一个样本属于正样本的概率为p,则：

LR模型是在线性回归的基础上，把特征进行线性组合，再把组合的结果通过一层sigmoid函数映射成结果是1或是0的概率。

逻辑斯蒂回归模型的特点：

一个事件的几率是指该事件发生的概率和该事件不发生的概率的比值，如果事件发生的几率为p，那么该事件的几率是：p/(1-p),该事件的对数几率是：

化简上式，可以得到logit(p) = w*x,说明输出Y=1的对数几率是输入x的线性函数，或者说Y=1的对数几率是由输入x的线性函数表示的模型。
目标函数是最大化似然函数，假设样本之间是相互独立的，那么整个样本集生成的概率即为所有样本生成概率的乘积：

在上面的结果中取对数，可以得到：

采用梯度上升法，使似然函数达到渐渐逼近极值，对参数采用分步求导的方式对上面的每一步进行求导，再将求导之后的结果连乘以后得到上式结果。
因此梯度迭代的公式为：

总结：

逻辑回归模型是一个分类模型，対生成的结果是0或1的概率进行建模，通过采用最大似然估计的方法最大化似然函数，采用梯度上升的方法得到使似然函数最大的参数。

参考链接：
LR推导
机器学习 LR中的参数迭代公式推导——极大似然和梯度下降
http://blog.csdn.net/cyh_24/article/details/50359055