对数几率回归（Logistic Regression）理解

对数几率回归模型是处理分类问题的算法，常用于垃圾邮件分类，天气预测等，很多文献也将其称为“逻辑回归”。

本文也将称为逻辑回归。

一. 逻辑回归由来

下面是一个简单的线性回归模型。

  

我们知道“线性回归"试图学得一个线性模型以尽可能得准确预测实际值得输出标志。但要是做分类模型，则需要找一个单调可微函数将分类任务的真实标记与线性回归得预测值联系起来。

对于一个二分类问题，将其输出标记为（0，1）：

其中 是线性回归模型，产生得实值我们要将其转化为0或1进行分类，sigmoid函数正好具备这样的能力：

线性回归函数可以简化为，可知：

对数几率：

    

由此可见，实际上是用线性回归模型的预测结果去逼近真实标记得对数几率，因此其对应得模型称为”对数几率回归（逻辑回归）“。虽然名字是回归，但实际是一种分类学习方法。根据后验概率 ，将上式子重写可得：

 

​

 

二. 参数估计

为了估计参数θ，我们如果采用最大似然估计函数作为logistic的代价函数，如下：

​

对上式两边取对数：

最大似然估计就是要求得使 L(θ) 取最大值时的 θ，这里我们需要以最小的损失学习到相关参数，在L(θ)添加，可得到代价函数：

最后通过梯度下降法（梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向）求其最优解。

理解梯度下降法参看：梯度下降