最速下降法 理论证明

原作者链接：梯度下降法与最速下降（凸优化方法）

另一种证明最优步长公式的方式：

注意：表示目标搜索方向向量，在求最优步长时表示为点处梯度的反向向量，和在下面的证明表示的都是学习率，表示函数在处的Hessian矩阵

以下为逐次迭代梯度迭代方向正交的证明：

原作者链接：最速下降法中相邻迭代方向正交

一种证明梯度方向与等高线切线方向垂直的方式：

博主懒得打了，参考：

梯度方向与等高线方向垂直的理解

以上为公式证明部分