最速下降法

最速下降法的思想：按照该点最快的下降方向进行搜索（梯度方向），并找到一个该方向一个最优步长

梯度方向走一个步长，用二阶泰勒公式去逼近：

由于是最优步长，因此对$t$求导为0，求得的$t$为最优步长

可得最优步长：

迭代点的递推公式，可以表示如下：

由于最速下降法，$P$为第$k$次迭代的搜索方向$g^k$，第$k+1$次迭代的搜索方向为上一次最优步长点处的倒数，即$▽f(X+tP{)}^T$。由于每次走的都是最优步长，因此每次对$t$求导都会满足求导后的函数值为0：

结论

最速下降法相邻两次迭代的方向互相垂直，这就影响了它的收敛速度，搜索呈锯齿状前进。因此开始搜索时，目标函数值下降快，但接近极小点时，呈锯齿状搜索，目标函数值变化较慢。