斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法

       在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ，从而确定f(θ)。本篇将介绍另一种求解最大似然概率ℓ(θ)的方法，即牛顿迭代法。

在牛顿迭代法中，假设一个函数是，求解θ值使得f(θ)=0。在图1中可知，

图1

选择一个点，对应函数值为,并将对应的切线与x轴相交的点记为，所以 ,依此类推可知牛顿迭代规律。

 为了求得最大似然概率ℓ(θ)，让,所以牛顿迭代方法确定最大似然概率的公式为：

在Logistic回归中，θ是一个向量。因此公式可表示为：

H是一个n*n的矩阵，被俗称为Hessian。