Andrew Ng机器学习课程笔记（三）之监督学习之Newton's Method

Preface

主要内容：
Newton’s Method（牛顿法）

Newton’s Method

step 1 ：问题导入

现需要对函数 $f(\theta)$ ，找到一个合适的 $\theta$ 使得 $f(\theta)=0$ 。

step 2：迭代

牛顿法搜索动态示例图：

根据导数定义：

$$\begin{align} f^{'}(\theta^{(0)}) = \frac{f(\theta^{(0)})}{\Delta} \tag{1} \\ \Delta = \frac{f(\theta^{(0)})}{f^{'}(\theta^{(0)})} \tag{2} \\ \theta^{(0)}-\theta^{(1)} = \frac{f(\theta^{(0)})}{f^{'}(\theta^{(0)})} \tag{3} \\ \theta^{(1)} =\theta^{(0)}- \frac{f(\theta^{(0)})}{f^{'}(\theta^{(0)})} \tag{4} \\ 即，\theta^{(t+1)} =\theta^{(t)}- \frac{f(\theta^{(0)})}{f^{'}(\theta^{(0)})} \tag{5} \end{align}$$
注： $f(\theta)$ 的初始值对函数无影响, $\theta^{(0)}$ 表示 $\theta = 0$ 。

step 3：求最大似然函数

回顾上一篇文章Andrew Ng机器学习课程笔记（二）之监督学习之Linear Regression and Logistic regression 中使用梯度法求最大似然函数，在这里我们将使用牛顿法来求最大似然函数。

牛顿的方法提供了一种方式去 $f(\theta)=0$ 。如果我们想使用它的一些功能使得似然函数 $ℓ(\theta)$ 最大化？
$ℓ(\theta)$ 极大值对应的点，其一阶导数$ℓ^{'}(\theta)$ 为零。所以，让$f(\theta)=ℓ^{'}(\theta)$，我们可以使用相同的算法来最大化$ℓ(\theta)$ 。

显然，这里 $\theta$ 的更新规则已经变成了，

$$\begin{align} \theta^{(t+1)} =\theta^{(t)}- \frac{ℓ^{'}(\theta)}{ℓ^{''}(\theta)} \tag{6} \end{align}$$

step 4：多维特征推广

当 $\theta$ 为一个大于一维的向量时，我们得到的迭代规则为：

$$\begin{align} \theta^{(t+1)} =\theta^{(t)}-H^{-1} \nabla_\theta ℓ(\theta) \tag{7} \end{align}$$
其中 $H$为Hessian矩阵：
$$\begin{align} H_{ij}=\frac{ℓ^{2}(\theta)}{\partial \theta_i\partial \theta_j} \tag{8} \end{align}$$

参考文献

https://www.cnblogs.com/shixiangwan/p/7532830.html