漫步最优化十三——驻点

$\textbf{从遇见你的那刻起，}$
$\textbf{我的世界开始改变。}$
$\textbf{从听到你的那句话，}$
$\textbf{我的信心开始萌芽。}$
$\textbf{我知道这份爱值得拥有，}$
$\textbf{我会在这里等待，}$
$\textbf{等待亲口说出那三个字。}$
$\quad\textbf{——畅宝宝的傻逼哥哥}$

如果考虑的极值点类型(即极大值，极小值)位于可行域的内部，那么我们称为它们驻点，因为在这些点上$\textbf{g}(\textbf{x})=\textbf{0}$，还有一种驻点是鞍点。

$\textbf{定义1：}$$R$是可行域，我们称$\bar{\textbf{x}}\in R$为鞍点，如果

1. $\textbf{g}(\bar{\textbf{x}})=\textbf{0}$
2. $\bar{\textbf{x}}$既不是极大值，也不是极小值。

$E^2$中的鞍点如图1所示。

图1

鞍点$\bar{\textbf{x}}$附近的任意点$\textbf{x}=\bar{\textbf{x}}+\alpha\textbf{d}\in R$，根据泰勒级数可得

$$f(\textbf{x})=f(\textbf{x})+\frac{1}{2}\alpha^2\textbf{d}^T\textbf{H}(\bar{\textbf{x}})\textbf{d}+o(\alpha^2\Vert\textbf{d}\Vert^2)$$

其中$\textbf{g}(\bar{\textbf{x}})=\textbf{0}$。根据鞍点的定义，必须存在方向$\textbf{d}_1,\textbf{d}_2$使得

$$f(\bar{\textbf{x}}+\alpha\textbf{d}_1)<f(\bar{\textbf{x}})\quad f(\bar{\textbf{x}}+\alpha\textbf{d}_2)<f(\bar{\textbf{x}})$$

因为$\bar{\textbf{x}}$既不是极小值也不是极大值，所以当$\alpha\to 0$时我们有

$$\textbf{d}_1^T\textbf{H}(\bar{\textbf{x}})\textbf{d}_1<0\quad \textbf{d}_2^T\textbf{H}(\bar{\textbf{x}})\textbf{d}_2>0$$

因此，矩阵$\textbf{H}(\textbf{x})$是不定的。

驻点是局部的并通过下面方法得到：

• 找出使得$\textbf{g}(\bar{\textbf{x}_i})=\textbf{0}$的点$\textbf{x}_i$
• 求出海森矩阵$\textbf{H}(\textbf{x}_i)$
• 对于每个点$\textbf{x}_i$确定$\textbf{H}(\textbf{x}_i)$的特征

如果$\textbf{H}(\textbf{x}_i)$是正(负)定的，那么$\textbf{x}_i$是极小(大)值；如果$\textbf{H}(\textbf{x}_i)$是不定的，那么$\textbf{x}_i$是鞍点。如果$\textbf{H}(\textbf{x}_i)$是半正(负)定的，那么$\textbf{x}_i$可能是极小(大)值；如果$\textbf{H}(\textbf{x}_i)=\textbf{0}$，那么$\textbf{x}_i$可能是极大值也可能是极小值，因为必要条件都满足。很明显，如果$\textbf{H}(\textbf{x}_i)$是半定的，那么我们没有充分的信息来判断驻点的特征，一个可行的方法是推导出$f(\textbf{x})$的三阶导数，然后计算泰勒级数的第四项，如果这项等于零，那么就需要计算第五项，依次下去。另一种更实际的方法是计算$f(\textbf{x}_i+\textbf{e}_j),f(\textbf{x}_j-\textbf{e}_j)$，其中$j=1,2,\ldots,n,\textbf{e}_j$是一个向量，其元素为

$$e_{jk}= \begin{cases} 0&for\ k\neq j\\ \varepsilon&for\ k=j \end{cases}$$

然后判断是否满足极大值或极小值的定义。

通过前面的讨论可以看出，判别函数$f(\textbf{x})$驻点的问题可以变成表征海森矩阵的问题，这个问题可以用下面的定理求解。

$\textbf{定理1：}$实对称$n\times n$矩阵$\textbf{H}$是正定，半正定等，如果对每个相同阶数的非奇异矩阵$\textbf{B}$，

$$\hat{\textbf{H}}=\textbf{B}^T\textbf{HB}$$

给出的矩阵$\textbf{H}$是正定，半正定等。

$\textbf{证明：}$如果$\textbf{H}$是正定，半正定等，那么对所有的$\textbf{d}\neq 0$

$$\begin{align*} \textbf{d}^T\hat{\textbf{H}}\textbf{d} &=\textbf{d}^T(\textbf{B}^T\textbf{HB})\textbf{d}\\ &=(\textbf{d}^T\textbf{B}^T)\textbf{H(B}\textbf{d})\\ &=(\textbf{B}\textbf{b})^T\textbf{H(B}\textbf{d}) \end{align*}$$

因为$\textbf{B}$是非奇异的，$\textbf{Bd=}\hat{\textbf{d}}$是非零向量，那么对所有$\textbf{d}\neq\textbf{0}$，

$$\textbf{d}\hat{\textbf{H}}\textbf{d}=\hat{\textbf{d}}^T\textbf{H}\hat{\textbf{d}}>0,\geq 0,etc$$

因此

$$\hat{\textbf{H}}=\textbf{B}^T\textbf{HB}$$

是正定，半正定等。

$\textbf{定理2：}$

1. 如果$n\times n$矩阵$\textbf{B}$是非奇异的且
   $$\hat{\textbf{H}}=\textbf{B}^T\textbf{HB}$$

对称矩阵，对角元素为$\hat{h_1},\hat{h_2},\ldots,\hat{h_n}$，那么$\textbf{H}$是正定，半正定，负定，半负定矩阵，如果对$i=1,2,\ldots,n,\hat{h}_i>0,\geq 0,\leq 0,<0$。否则的话，如果一些$\hat{h}_i$是正的，一些是负的，那么$\textbf{H}$是不定的。

1. (a)的逆也为真，即如果$\textbf{H}$是正定，半正定等，那么$\hat{h}_i>0,\geq0$等，如果$\textbf{H}$是不定的，那么某些$\hat{h}_i$是正的，某些是负的。

$\textbf{证明：}$(a)对所有$\textbf{d}\neq\textbf{0}$

$$\textbf{d}^T\hat{\textbf{H}}\textbf{d}=d_1^2\hat{h}_1+d_2^2\hat{h}_2+\cdots+d_n^2\hat{h}_n$$

因此如果$\hat{h}_i>0,\geq 0$等，那么

$$\textbf{d}^T\hat{\textbf{H}}\textbf{d}>0,\geq0,ect$$

即$\hat{\textbf{H}}$是正定，半正定等。如果某些$\hat{h}_i$是正的，一些是负的，那么我们能找到$\textbf{d}$产生正的或负的$\textbf{d}^T\hat{\textbf{H}}\textbf{d}$，那么$\hat{\textbf{H}}$是不定的。接下来因为$\hat{\textbf{H}}=\textbf{B}^T\textbf{HB}$，根据上面的定理得到如果$\hat{h}_i>0,\geq0,ect$，那么$\textbf{H}$是正定，半正定等。

(b)假设$\textbf{H}$是正定，半正定等，因为$\hat{\textbf{H}}=\textbf{B}^T\textbf{HB}$，根据上面的定理可知$\hat{\textbf{H}}$是正定，半正定等。如果$\textbf{d}$是一个向量，元素$d_k$为

$$d_k= \begin{cases} 0&for\ k\neq i\\ 1&for\ k=i \end{cases}$$

那么

$$\textbf{d}^T\hat{\textbf{H}}\textbf{d}=\hat{h_i}>0,\geq 0$$

如果$\textbf{H}$是不定的，根据上面的定理可知$\hat{\textbf{H}}$是不定的，因此某些$\hat{h}_i$必须为正，某些必须为负。

通过在矩阵$\textbf{H}$上执行行运算或列运算就能得到对角矩阵$\hat{\textbf{H}}$，例如某行的k倍加到其他行，某列的k倍加到其他列，对于对称矩阵，这些运算通过应用初等变换就能实现，即$\hat{\textbf{H}}$通过如下方式得到

$$\hat{\textbf{H}}=\cdots\textbf{E}_3\textbf{E}_2\textbf{E}_1\textbf{H}\textbf{E}_1^T\textbf{E}_2^T\textbf{E}_3^T\cdots$$

其中$\textbf{E}_1,\textbf{E}_2,\ldots$是初等矩阵，典型的初等矩阵如

$$E_a= \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&k&1 \end{bmatrix}$$

与

$$E_b= \begin{bmatrix} 1&m&0&0\\ 0&1&0&0\\ 0&0&1&0\\ 0&0&0&1 \end{bmatrix}$$

如果$E_a$左乘一个$3\times 3$的矩阵，效果就是第二行的$k$倍加到第三行，如果$E_b$右乘一个$4\times 4$的矩阵，效果就是第一列的$m$倍加到第二列。如果

$$\textbf{B}=\textbf{E}_1^T\textbf{E}_2^T\textbf{E}_3^T\cdots$$

那么

$$\textbf{B}^T=\cdots\textbf{E}_3^T\textbf{E}_2^T\textbf{E}_1^T$$

因此

$$\hat{\textbf{H}}=\textbf{B}^T\textbf{HB}$$

因为初等矩阵是非奇异的，所以$B$是非奇异的，故$\hat{\textbf{H}}$是正定，半正定等，如果$\textbf{H}$是正定，半正定等。

另一个表征海森矩阵的定理如下：

$\textbf{定理3：}$

1. 如果$\textbf{H}$是实对称矩阵，那么存在正交矩阵$\textbf{U}$使得
   $$\boldsymbol{\Lambda}=\textbf{U}^T\textbf{HU}$$

是对角矩阵，其对角元素就是$\textbf{H}$的特征值。

1. $\textbf{H}$的特征值是实数。

对于实酉矩阵，我们有$\textbf{U}^T\textbf{U}=\textbf{I}_n$，其中

$$\textbf{I}_n= \begin{bmatrix} 1&0&\cdots&0\\ 0&1&\cdots&0\\ \vdots&\vdots&&\vdots\\ 0&0&\cdots&1 \end{bmatrix}$$

是$n\times n$单位矩阵，因此$\det\textbf{U}=\pm 1$，即$\textbf{U}$是非奇异的。根据定理1，如果$\textbf{H}$是正定，半正定等，那么$\boldsymbol{\Lambda}$是正定，半正定，因此$\textbf{H}$通过求出其特征值，然后检查它们的符号就能进行表征。

另一种表征方阵$\textbf{H}$的方法是基于它的主子式与顺序主子式，该方法的细节具体如下：

$\textbf{定理4：}$

1. 如果$\textbf{H}$是半正定或正定矩阵，那么
   $$\det\textbf{H}\geq 0\ or\ >0$$
2. $\textbf{H}$是正定矩阵，当且仅当其所有顺序主子式均为正，例如$\det\textbf{H}_i>0\ for\ i=1,2,\ldots,n$
3. $\textbf{H}$是半正定矩阵，当且仅当其所有主子式均为正，例如对$\{l_1,l_2,\ldots,l_i\}$所有可能的选择$\det\textbf{H}_i^{(l)}\geq0\ for\ i=1,2,\ldots,n$
4. $\textbf{H}$是负定矩阵，当且仅当$-\textbf{H}$的所有顺序主子式均为正，例如$\det(\textbf{-H}_i)>0\ for\ i=1,2,\ldots,n$
5. $\textbf{H}$是半负定矩阵，当且仅当$-\textbf{H}$的所有主子式均为正，例如对$\{l_1,l_2,\ldots,l_i\}$所有可能的选择$\det(\textbf{-H}_i^{(l)})\geq0\ for\ i=1,2,\ldots,n$
6. $\textbf{H}$是不定矩阵，如果(c)(e)都不满足。