证明:
最速下降法的迭代公式:
\begin{equation}x_{k+1}=x_{k}-\lambda\Delta f(x)\end{equation}
其中,迭代步长 lambda 由一维搜索得到,lambda 满足
\begin{equation}\lambda=\arg~\min\limits_{\lambda} f(x_{k}-\lambda\Delta f(x))\end{equation}
一阶导数为 0 时成立,即
\begin{equation}\frac{\partial f(x_{k}-\lambda\Delta f(x))}{\partial\lambda}=-\Delta f(x_{k}-\lambda\Delta f(x))\Delta f(x)=-\Delta f(x_{k+1})\Delta f(x)=0\end{equation}
最后一项中,前者就是下一步的迭代方向,后者是此时的迭代方向,因此,二者相互垂直,得证。