Logistic回归与牛顿迭代法

在上一篇文章中，我讲述了Logistic回归的原理以及它的梯度上升法实现。现在来研究Logistic回归的另一种

实现，即牛顿迭代法。

 

在上篇文章中，我们求出Logistic回归的似然函数的偏导数为

 

              

 

由于是一个多元函数，变元是，多元函数求极值问题以前已经讲过，参考如下文章

 

链接：http://blog.csdn.net/acdreamers/article/details/41413787

 

我们知道，极值点的导数一定均为零，所以一共需要列出个方程，联立解出所有的参数。

当然，这里首先需要用Hessian矩阵来判断极值的存在性。方程组如下

 

              

 

这一共是个方程，现在的问题变为如何解这个方程组。求Hessian矩阵就得先求二阶偏导，即

 

               

 

把Hessian矩阵表示出来，那么有

 

 

所以得到Hessian矩阵，可以看出矩阵是负定的，那么现在我来证明如果是负定的，那

么Hessian矩阵也是负定的。

 

证明：设任意的是n维列向量，因为是负定的，那么为二次型，也是负定的，又因为

 

     

 

     所以也是负定的。

 

Hessian矩阵是负定的，也就是说多元函数存在局部极大值，这符合开始需求的最大似然估计。Hessian

矩阵描述了多元函数的局部曲率。有了这个Hessian矩阵，我们就可以用牛顿迭代法继续进行计算啦！

 

回想一下，对于一元函数我们是怎样通过牛顿迭代法求解零点的？ 假设现在要求方程的解，

那么首先选取一个点作为迭代起始点，然后通过下面式子进行迭代，直到达到指定的精度为止。

 

                

 

原理详见：http://zh.m.wikipedia.org/wiki/%E7%89%9B%E9%A1%BF%E6%B3%95

 

有时候这个起始点的选取很关键，因为牛顿迭代法得到的是局部最优解，如果函数只存在一个零点，那么这个

点选取无关重要，但是如果存在多个局部最优解，一般是求指定在某个点附近的零点。对于Logistic

回归问题，Hessian矩阵对于任意数据都是负定的，所以说极值点只有一个，初始点选取无关紧要。

 

对于多元函数求解零点，同样可以用牛顿迭代法，对于上面的Logistic回归，可以得到如下迭代式子