Andrew Ng机器学习笔记（三）——牛顿算法

复习：

Logistic回归：分类算法

假设给定x以为参数的y=1和y=0的概率：

求对数似然性：

对其求偏导数，应用梯度上升方法，求得。

本次课程介绍的牛顿方法是一种比梯度上升快很多的方法，用于拟合Logistic回归

推导图：

当要求解f(θ) = 0时,如果 f 可导,那么可以通以下的迭代公式

当应用于求解最大似然估计的最大值时,变成求解l′(θ)  =0的问题。 

当 θ 是向量时,牛顿法的通用表达式变成：

H为henssian矩阵，牛顿法收敛速度虽然很快,但求 Hessian 矩阵的逆的时候比较耗费时间。

更多相关文章亦可参考：【机器学习-斯坦福】学习笔记4 - 牛顿方法