最速下降法的迭代方向为什么相互垂直

证明：

最速下降法的迭代公式：

\begin{equation}x_{k+1}=x_{k}-\lambda\Delta f(x)\end{equation}

其中，迭代步长 lambda 由一维搜索得到，lambda 满足

\begin{equation}\lambda=\arg~\min\limits_{\lambda} f(x_{k}-\lambda\Delta f(x))\end{equation}

一阶导数为 0 时成立，即

\begin{equation}\frac{\partial f(x_{k}-\lambda\Delta f(x))}{\partial\lambda}=-\Delta f(x_{k}-\lambda\Delta f(x))\Delta f(x)=-\Delta f(x_{k+1})\Delta f(x)=0\end{equation}

最后一项中，前者就是下一步的迭代方向，后者是此时的迭代方向，因此，二者相互垂直，得证。