【下降算法】最速下降法、Newton法、共轭梯度法

1. 一维搜索

最优化问题一般选择某一组变量，然后在满足一定的限制条件下，求出使目标值达到最优（最大或最小）的变量值。大部分时候，最优化问题都采用迭代计算的方式来求解。而大多数迭代下降算法都具有的共同点是在得到某次迭代点$x^k$后，需要按照一定规则来确定一个方向$d^k$，沿着该方向在直线上求函数的极小点得到下一个迭代点$x$^k+1 。
这样不断在一维的目标函数上，求其在各迭代点的直线方向上的极小点，直到求出问题最优解的方式就被称为一维搜索，或者线搜索。其一般过程可用如下公式表示：

其中 $d^k$ 表示在这一步的搜索方向，步长因子 $\lambda$ 决定了沿着该方向前进多远，这两者共同决定了该搜索算法的好坏。一维搜索的算法有好多种，以下介绍几种常见的。

2. 最速下降法

上文中的一维搜索（$x$^k+1 = $x^k$ + $\lambda d^k$）可归结为单变量函数的最优化问题，也是最速下降法的基础。其迭代过程中最重要的就是为下次迭代选择一个合适的方向$d^k$。
人们利用了梯度方向是函数值增长最快的方向的思想，来让迭代点沿着负梯度方向前进，保证函数的“最速”下降。
以下直接给出公式：