【斯坦福---机器学习】复习笔记之牛顿方法

本讲大纲：

1.牛顿方法(Newton’s method)
2.指数族(Exponential family)
3.广义线性模型(Generalized linear models)

1.牛顿方法

假设有函数：，我们希望找到满足的值. 这里是实数.
牛顿方法执行下面的更新：

下图为执行牛顿方法的过程：

简单的来说就是通过求当前点的导数得到下一个点.用到的性质是导数值等于该点切线和横轴夹角的正切值.

令，我们可以用同样的算法去最大化

牛顿方法的一般化：
如果是一个向量，那么：

其中，是对的偏导数；
H称为黑塞矩阵(Hessian matrix),是一个n*n的矩阵，