漫步最优化十二——局部极小与极大的充分必要条件(下)

$\textbf{我心里有个小小的愿望，}$
$\textbf{就是在接下来漫长的路途中，}$
$\textbf{把我们爱的点点滴滴装进行囊。}$
$\textbf{虽然我没有宽广的肩膀，}$
$\textbf{但我愿意你在我的怀里温柔撒娇；}$
$\textbf{虽然我们会慢慢的变老，}$
$\textbf{但我庆幸和你一起一直相互依靠。}$
$\qquad\qquad\textbf{——畅宝宝的傻逼哥哥}$

$\textbf{定理2：}$$\textbf{极小值的二阶必要条件}$

1. 如果$f(\textbf{x})\in C^2,\textbf{x}^*$是局部极小值，那么对任意可行方向$\textbf{d}$
   
   • $\textbf{g}(\textbf{x}^*)^T\textbf{d}\geq0$
   • 如果$\textbf{g}(\textbf{x}^*)^T\textbf{d}=0$，那么$\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}\geq 0$
2. 如果$\textbf{x}^*$是局部极小值，且是$R$的内点，那么
   
   • $\textbf{g}(\textbf{x}^*)=\textbf{0}$
   • 对所有$\textbf{d}\neq\textbf{0},\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}\geq0$

$\textbf{证明：}$$(a)(b)$中的条件$(i)$由前面的定理可得出来。对于$(a)$中的条件$(ii)$令$\textbf{x}=\textbf{x}^*+\alpha\textbf{d}$，其中$\textbf{d}$是可行方向，由泰勒级数可得

$$f(\textbf{x})=f(\textbf{x}^*)+\alpha\textbf{g}(\textbf{x}^*)^T\textbf{d}+\frac{1}{2}\alpha^2\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\alpha^2\Vert\textbf{d}\Vert^2)$$

注意如果条件$(i)$取等号，那么

$$f(\textbf{x})=f(\textbf{x}^*)+\frac{1}{2}\alpha^2\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\alpha^2\Vert\textbf{d}\Vert^2)$$

如果

$$\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}<0$$

，那么当$\alpha\to 0$时

$$\frac{1}{2}\alpha^2\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\alpha^2\Vert\textbf{d}\Vert^2)<0$$

则

$$f(\textbf{x})<f(\textbf{x}^*)$$

这与$\textbf{x}^*$是极小值点相矛盾，因此如果$\textbf{g}(\textbf{x}^*)^T\textbf{d}=0$，那么

$$\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}\geq 0$$

如果$\textbf{x}^*$是局部极小值点，且是$R$的内点，那么所有向量$\textbf{d}$是可行方向，因此$(b)$部分得条件$(ii)$成立，这个条件等价于说$\textbf{H}(\textbf{x}^*)$是半正定的。

通过类比可以得出局部极大值的定理。

$\textbf{定理3：}$$\textbf{极大值的二阶必要条件}$

1. 如果$f(\textbf{x})\in C^2,\textbf{x}^*$是局部极大值，那么对任意可行方向$\textbf{d}$
   
   • $\textbf{g}(\textbf{x}^*)^T\textbf{d}\leq0$
   • 如果$\textbf{g}(\textbf{x}^*)^T\textbf{d}=0$，那么$\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}\leq 0$
2. 如果$\textbf{x}^*$是局部极大值，且是$R$的内点，那么
   
   • $\textbf{g}(\textbf{x}^*)=\textbf{0}$
   • 对所有$\textbf{d}\neq\textbf{0},\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}\leq0$

$(b)$部分的条件$(ii)$等价于$\textbf{H}(\textbf{x}^*)$是半负定矩阵。

这些条件是局部极值的必要条件但不是充分条件，也就是说有满足这些条件的点，但它们不是极值点。接下来我们考虑一下充分条件，这里暂时考虑$\textbf{x}^*$位于可行域内部的情况，对于边界的情况比较困难，以后在讲解。

$\textbf{定理4：}$$\textbf{极小值点的二阶充分条件}$如果$f(\textbf{x})\in C^2,\textbf{x}^*$是$R$的内点，那么

1. $\textbf{g}(\textbf{x}^*)=\textbf{0}$
   • $\textbf{H}(\textbf{x}^*)$是正定矩阵

   • 就是$\textbf{x}^*$为局部极小值的充分条件。

     $\textbf{证明：}$对于任意方向$\textbf{d}$，泰勒级数得到
     

     $$f(\textbf{x}^*+\textbf{d})=f(\textbf{x}^*)+\textbf{g}(\textbf{x}^*)^T\textbf{d}+\frac{1}{2}\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\Vert\textbf{d}\Vert^2)$$

     如果条件$(a)$满足，我们有
     

     $$f(\textbf{x}^*+\textbf{d})=f(\textbf{x}^*)+\frac{1}{2}\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\Vert\textbf{d}\Vert^2)$$

     如果条件$(b)$满足，那么
     

     $$\frac{1}{2}\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\Vert\textbf{d}\Vert^2)>0\quad as\ \Vert\textbf{d}\Vert\to 0$$

     因此
     

     $$f(\textbf{x}^*+\textbf{d})>f(\textbf{x}^*)$$

     即$\textbf{x}^*$是强局部极小值。

     通过类比可得到极大值的充分条件。

     $\textbf{定理5：}$$\textbf{极大值点的二阶充分条件}$如果$f(\textbf{x})\in C^2,\textbf{x}^*$是$R$的内点，那么

     1. $\textbf{g}(\textbf{x}^*)=\textbf{0}$

     2. $\textbf{H}(\textbf{x}^*)$是负定矩阵

     3. 就是$\textbf{x}^*$为局部极大值的充分条件。