漫步最优化十一——局部极小与极大的充分必要条件(上)

$\textbf{即便没有那么多浪漫的话，}$
$\textbf{我也想与你走过每个冬夏。}$
$\textbf{你的出现是我唯一的心动，}$
$\textbf{你的与众不同让我难以忘记每个笑容。}$
$\textbf{越相处越习惯你，}$
$\textbf{越想拥有你，}$
$\textbf{只想每分每秒陪伴你的苦与乐。}$
$\qquad\qquad\qquad\textbf{——畅宝宝的傻逼哥哥}$

梯度 $\textbf{g}(\textbf{x})$与海森矩阵 $\textbf{H}(\textbf{x})$在局部极小值点 $\textbf{x}^*$上必须满足某些条件，两个条件集如下：

1. 在局部极小值点$\textbf{x}^*$处必须满足的条件，他们是必要条件。
2. 保证$\textbf{x}^*$是局部极小值点点条件，他们是充分条件。

充分必要条件可以用许多定理的形式进行描述，这些定理中使用比较广泛的概念就是可行方向的概念。

$\textbf{定义1：}$$\boldsymbol{\delta}=\alpha\textbf{d}$是$\textbf{x}$上的变化量，其中$\alpha$是正常数，$\textbf{d}$是方向向量，如果$R$是可行域且存在常数$\hat{\alpha}>0$使得对所有$\alpha,\textbf{x}+\alpha\textbf{d}\in R$，其中$0\leq\alpha\leq\hat{\alpha}$，那么称$\textbf{d}$为点$\textbf{x}$的可行方向。

效果上，如果点$\textbf{x}$沿方向$\textbf{d}$移动有限的距离后依然在$R$中，那么$\textbf{d}$就是$\textbf{x}$的可行方向向量。

$\textbf{例1：}$优化问题的可行域为

$$R=\{\textbf{x}:x_1\geq 2,x_2\geq 0\}$$

如图1所示，对于点$\textbf{x}_1=[4\ 1]^T,\textbf{x}_2=[2\ 3]^T,\textbf{x}_3=[1\ 4]^T$，向量$\textbf{d}_1=[-2\ 2]^T,\textbf{d}_2=[0\ 2]^T,\textbf{d}_3=[2\ 0]$那个是可行方向？

$\textbf{解：}$令$\hat{\alpha}=1$，在$0\leq\alpha\leq\hat{\alpha}$范围内的所有$\alpha$，

$$\textbf{x}_1+\alpha\textbf{d}_1\in R$$

$\textbf{d}_1$是点$\textbf{x}_1$处的可行方向；对任意$0\leq\alpha\leq\hat{\alpha}$

$$\textbf{x}_1+\alpha\textbf{d}_2\in R\quad\textbf{x}_1+\alpha\textbf{d}_3\in R$$

因此$\textbf{d}_2,\textbf{d}_3$是$\textbf{x}_1$的可行方向。

因为不存在常数$\hat{\alpha}>0$使得

$$\textbf{x}_2+\alpha\textbf{d}_1\in R\quad for\ 0\leq\alpha\leq\hat{\alpha}$$

，所以$\textbf{d}_1$不是$\textbf{x}_2$处的可行方向。另一方面，存在正数$\hat{\alpha}$使得对$0\leq\alpha\leq\hat{\alpha}$而言

$$\textbf{x}_2+\alpha\textbf{d}_2\in R\quad\textbf{x}_2+\alpha\textbf{d}_3\in R$$

，所以$\textbf{d}_2,\textbf{d}_3$是$\textbf{x}_2$的可行方向。

图1

因为$\textbf{x}_3$不在$R$中，所以不存在$\hat{\alpha}$是的对任意的$\textbf{d}$

$$\textbf{x}_3+\alpha\textbf{d}\in R\quad for\ 0\leq\alpha\leq\hat{\alpha}$$

，因此$\textbf{d}_1,\textbf{d}_2,\textbf{d}_3$不是$\textbf{x}_3$的可行方向。

$\textbf{一阶必要条件}$
目标函数要想有极小值，必须满足里两个条件，也就是一阶与二阶条件，一阶条件是一阶导数的形式，如梯度。

$\textbf{定理1：}$极小值的一阶必要条件。

• 如果$f(\textbf{x})\in C^1,\textbf{x}$是局部最小值点，那么对于$\textbf{x}^*$处的所有可行方向
  $$\textbf{g}(\textbf{x}^*)^T\textbf{d}\geq 0$$
• 如果$\textbf{x}^*$是$R$的内点，那么
  $$\textbf{g}(\textbf{x}^*)=0$$

$\textbf{证明：}$$(a)$如果$\textbf{d}$是$\textbf{x}^*$的可行方向，那么

$$\textbf{x}=\textbf{x}^*+\alpha\textbf{d}\in R\quad for\ 0\leq\alpha\leq\hat{\alpha}$$

利用泰勒级数

$$f(\textbf{x})=f(\textbf{x}^*)+\alpha\textbf{g}(\textbf{x}^*)^T\textbf{d}+o(\alpha\Vert\textbf{d}\Vert)$$

如果

$$\textbf{g}(\textbf{x}^*)^T\textbf{d}<0$$

那么当$\alpha\to 0$时

$$\alpha\textbf{g}(\textbf{x}^*)^T\textbf{d}+o(\alpha\Vert\textbf{d}\Vert)<0$$

那么

$$f(\textbf{x})<f(\textbf{x}^*)$$

这与假设$\textbf{x}^*$是极小值相矛盾，因此$\textbf{x}^*$为极小值的必要条件是

$$\textbf{g}(\textbf{x}^*)^T\textbf{d}\geq 0$$

$(b)$如果$\textbf{x}^*$是$R$的内点，所有可行方向的向量均存在，那么由$(a)$可知，向量$\textbf{d}=\textbf{d}_1$产生

$$\textbf{g}(\textbf{x}^*)^T\textbf{d}_1\geq 0$$

同样的，对于方向$\textbf{d}=-\textbf{d}_1$

$$-\textbf{g}(\textbf{x}^*)^T\textbf{d}_1\geq 0$$

因此在这种情况下，$\textbf{x}^*$是极小值的必要条件是

$$\textbf{g}(\textbf{x}^*)=0$$

$\textbf{二阶必要条件}$
二阶必要条件涉及到一阶与二阶导，或者等价的梯度与海森矩阵。

$\textbf{定义1：}$

• 令$\textbf{d}$是点$\textbf{x}$处的任意方向向量，如果对任意的$\textbf{d}\neq 0,\textbf{d}^T\textbf{H}\textbf{d}>0,\geq 0,\leq 0,<0$，那么称二次项$\textbf{d}^T\textbf{H}(\textbf{x})\textbf{d}$为正定，半正定，半负定，负定。如果$\textbf{d}^T\textbf{H}(\textbf{x})\textbf{d}$既可以为正也可以为负，那么称其为不定的。
• 如果$\textbf{d}^T\textbf{H}(\textbf{x})\textbf{d}$是正定，半正定等，那么称矩阵$\textbf{H}(\textbf{x})$为正定，半正定等矩阵。