无约束非线性优化经典算法学习笔记

本博客仅为学习笔记。

梯度下降法

有函数$x(\theta)$ ,梯度下降法的迭代公式为:

$$x_{k+1} = x_k -a g_k$$
其中 $g_k$为 $x(\theta)$ 在x_k点的导数。

牛顿法

当x为标量时

$$x_{k+1} = x_k - \frac{x'}{x''}$$

当x为向量时：

$$x_{k+1} = x_k - H_k^{-1}g_k$$

其中 $H^{-1}$ 为 Hession矩阵的逆函数，g为一阶导数向量。

L-BFS

在牛顿法中，每次都需要求$H_k^{-1}$, 每次求二阶导数，再求逆矩阵这个计算量是很大的。所以有人考虑使用迭代计算的方法计算每一个$H_k^{-1}$, 令

$$B_k = H_k^{-1}$$

找出一个公式 ,使得

$$B_{k+1} =B_k + \delta$$
求出这个迭代用的 $\delta$。

http://blog.csdn.net/acdreamers/article/details/44728041