最优下降法学习

原理

设目标函数一阶连续可微
在$x^k$点处对$f(x)$进行泰勒展开，得到:
$▽f(x^k):f在点x_k处的一阶导数$
$\lambda :为步长$
$$f(x^k)-f(x^k+t{p}^k)=-\lambda ▽f(x^k{)}^T{p}^k+o(||t{p}^k||)$$
可知在令$p^k=-▽f(x^k)$时，函数值下降最快

步骤

$k:迭代次数$
$x^k:表示第k步的点$
$\xi :终止误差$
$p^k:第k步的搜索方向$
${\lambda }_k:第k步的步长$

1. 确定初始点$x^0$,终止误差$\xi >0$,$k=0$
2. 计算$▽f(x^k)$,如果$▽f(x^k)<\xi$停止迭代，否则进行第3步
3. 令$p^k=-▽f(x^k)$
4. 求${\lambda }_k$,满足:
   $f(x^k+{\lambda }_k{p}^k)=mi{n}_{\lambda \ge 0}f(x^k+p^k)：（一般是对{\lambda }_k）构成的新的函数求导，得到其导数为0的点$
   令$x^{k+1}=x^k+{\lambda }_k{p}^k,k=k+1$,再进行第2步

一个实例

例:$minf(x)=x_1-x_2+2x_1^2+2x_1{x}_2+x_2^2$,给定初始点$x^{(1)}=(0,0{)}^T,$

1. 确定初始点$x^0=(0,0)$,$k=0$
2. 求取$▽f(x^k)=\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\end{array}\right]=\left[\begin{array}{c}1+4x_1+2x_2\\ -1+2x_1+2x_2\end{array}\right]$
   带入$x^0$得到：$▽f(x^0)=\left[\begin{array}{c}1\\ -1\end{array}\right]$
   得到${\xi }_0=|f(x^0)|=\sqrt{2}$
3. 令$d^{(0)}=-▽f(x^0)=\left[\begin{array}{c}-1\\ 1\end{array}\right]$
4. 求${\lambda }_0$,
   (1):$x^{(0)}+\lambda d^{(0)}=\left[\begin{array}{c}0\\ 0\end{array}\right]+\lambda \left[\begin{array}{c}-1\\ 1\end{array}\right]=\left[\begin{array}{c}-\lambda \\ \lambda \end{array}\right]$,得到$x_1=-\lambda ,x_2={\lambda }_2$
   (2)将$x_1,x_2$带入$f(x)=f(x^{(0)}+\lambda d^{(1)})=(-\lambda )-\lambda +2(-\lambda {)}^2+2\lambda (-\lambda )+{\lambda }^2={\lambda }^2-2\lambda ={\varphi }_1(\lambda )$
   (3)${\varphi }_0(\lambda )=2\lambda -2=0$,${\lambda }_0=1$
   (4)$x^{(1)}=x^{(0)}+{\lambda }_0{d}^{(0)}=\left[\begin{array}{c}0\\ 0\end{array}\right]+1\ast \left[\begin{array}{c}-1\\ 1\end{array}\right]=\left[\begin{array}{c}-1\\ 1\end{array}\right]$

步长的确定方法

原理看这里
黄金分割法
缩小区间法
插值法

优缺点

在开头几步，目标函数下降较快；但在接近极小点时，收敛速度长久不理想了。特别适当目标函数的等值 线为比较扁平的椭圆时，收敛就更慢了。