优化问题笔记（2）

3. 约束优化问题的全局解

3.1 凸优化问题

局部解成为全局解的一类重要的优化问题是所谓凸优化问题. 我们称优化问题 $(f,\mathcal{D})$ 是凸的/拟凸的，是指 $f:\mathcal{D}\to \overline{\mathbb{R}}$ 是凸函数/拟凸函数. 称优化问题$$\{\begin{array}{l}\min f_0(x)\\ \text{s.t.}{f}_i(x)\le 0,i=1,\cdots ,p,\\ h_j(x)=0,j=1,\cdots ,q,\\ x\in \Omega ,\end{array}$$是凸的/拟凸的， 是指它满足如下条件：

$(i)$ $f_0$ 是凸函数/拟凸函数；

$(ii)$ { f i } i = 1 p \{f_{i}\}_{i=1}^{p} {fi​}i=1p​是凸函数;

$(iii)$ { h j } j = 1 q \{h_j\}_{j=1}^q {hj​}j=1q​ 是仿射函数；

$(iv)$ $\Omega$ 为${\mathbb{R}}^n$ 中凸集.

显然，此时可行集 $\mathcal{D}$ 是凸集，($f_0,\mathcal{D})$ 是凸问题/拟凸问题.

命题 3.1.1 (凸问题的局部解是全局解)

(1) 凸优化问题 $(f,\mathcal{D})$ 的局部解必为全局解.

(2) 拟凸问题 $(f,\mathcal{D})$ 的严格局部解必为严格全局解.

证.(1) 反证法：若 $x^{\ast }$ 是凸优化问题 $(f,\mathcal{D})$ 的局部解而不是全局解，则必存在 $x\in \mathcal{D}$, 使得$f(x)<f(x^{\ast })$.对任意的 $\theta \in (0,1)$,令 $x_{\theta }:=x^{\ast }+\theta (x-x^{\ast })$.显然 $x_{\theta }\in \mathcal{D}$,且当 $\theta$ 充分小时，$x_{\theta }$ 充分接近 $x^{\ast }$,从而 $f(x^{\ast })\le f(x_{\theta })$.于是$$\begin{array}{r}f(x^{\ast })\le f(x_{\theta })\le (1-\theta )f(x^{\ast })+\theta f(x)<(1-\theta )f(x^{\ast })+\theta f(x^{\ast })=f(x^{\ast }).\end{array}$$矛盾.（上式中第二个不等号利用了凸函数的定义.）所以 $x^{\ast }$ 是全局解.

(2) 若 $x^{\ast }$ 是拟凸优化问题的 $(f,\mathcal{D})$ 的严格局部解而不是严格全局解，则存在 $x\in \mathcal{D}$ 使得 $f(x)\le f(x^{\ast })$.沿用上面的符号，类似地，当 $\theta >0$ 充分小时，有 f ( x ∗ ) < f ( x θ ) ≤ max ⁡ { f ( x ∗ ) , f ( x ) } = f ( x ∗ ) . f(x^*)<f(x_\theta)\leq\max\{f(x^*),f(x)\}=f(x^*). f(x∗)<f(xθ​)≤max{f(x∗),f(x)}=f(x∗).矛盾. （上式中第二个不等号利用了拟凸函数的定义.）

注：对于拟凸问题，非严格局部解未必是全局解. 例如函数$$f(x):=\{\begin{array}{ll}x+1& x\le -1\\ 0& x\in (-1,1)\\ x-1& x\ge 1\end{array}$$位于区间 (-1,1) 中每一点都是 $(f,\mathbb{R})$ 的局部最优解，但它们都不是全局最优解，如下图所示：

命题 3.1.2 (全局解与平稳点的等价性) 设凸优化问题 $(f,\mathcal{D})$ 的目标函数 $f$ 在 $x^{\ast }\in \mathcal{D}$ 处一阶可微，$x^{\ast }\in \mathcal{D}$,那么 $x^{\ast }$ 是 $(f,\mathcal{D})$ 的一个全局最优解当且仅当
$$\begin{array}{rl}\nabla f(x^{\ast }{)}^T(x-x^{\ast })& \ge 0,\forall x\in \mathcal{D}.\end{array}$$
证. 必要性. $x^{\ast }\in \mathcal{D}$ 是一个最优解，因为 $\mathcal{D}$ 是凸集，由优化问题笔记 (1)中的命题 1.2.1有 $\nabla f(x^{\ast }{)}^{T}d=0,d^T{\nabla }^{2}f(x^{\ast })d\ge 0,\forall d\in V_{\mathcal{D}}$，以及由引理 1.2.2有 ${\xi }^T(x-x^{\ast })\ge 0,\forall x\in \mathcal{D}⟺{\xi }^{T}d\ge 0,\forall d\in \mathbf{SFD}(x^{\ast })$，于是可以推出(1)成立.

充分性. 设(1)成立. 则 $\forall x\in \mathcal{D}$,利用凸函数笔记 (1)中的命题 2.2.1,（下文直接引用，不再以链接形式给出笔记出处）$$f\text{ 是凸函数当且仅当}f(y)\ge f(x)+\nabla f(x{)}^T(y-x),\forall x,y\in \mathbf{dom}(f).$$

于是有$$\begin{array}{r}f(x)\ge f(x^{\ast })+\nabla f(x^{\ast }{)}^T(x-x^{\ast })\ge f(x^{\ast }).\end{array}$$所以 $x^{\ast }$ 是 $(f,\mathcal{D})$ 的一个最优解.

注：当$x^{\ast }\in \mathbf{ri}(\mathcal{D})$ 时，由引理 1.2.2 可知 (1)等价于 $\nabla f(x^{\ast })\perp V_{\mathcal{D}}$. 这意味着 $x^{\ast }$ 约束在$V_{\mathrm{D}}$上是$f$ 的一个平稳点( 满足 $\nabla f(x^{\ast })=0$ 的点称为 $f$ 的平稳点).这一性质在优化问题的数值计算中非常重要，因为判断一个点是否为平稳点比判断其为局部极小点要容易得多.

例 3.1.1 设 $A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m$ 使得集合 { x ∈ R n ∣ A x = b } \{x\in\mathbb{R}^n|Ax=b\} {x∈Rn∣Ax=b} 非空. 又设函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ 是可微的凸函数.那么，$x^{\ast }\in {\mathbb{R}}^n$ 是等式约束凸优化问题$$\begin{array}{r}\{\begin{array}{l}\min f(x)\\ s.tAx=b\end{array}\end{array}$$的解当且仅当$$\nabla f(x^{\ast })\in \mathbf{ran}(A^T),A{x}^{\ast }=b.$$证.在 例 1.2.1 中已证明该可行集 $\mathcal{D}$ 满足：$\mathbf{ri}(D)=\mathcal{D}$ 且 $V_D=\mathbf{null}(A)=\mathbf{ran}(A^T{)}^{\perp }.$ 由命题 3.1.2 可知，$x^{\ast }\in \mathcal{D}$ 是优化问题 (2)的一个最优解当且仅当 $\nabla f(x^{\ast })\in V_{\mathcal{D}}^{\perp }$, 即$$\nabla f(x^{\ast })\in \mathbf{ran}(A^T).$$

3.2 二次优化问题

当目标函数和约束函数都是二次 (不超过二次) 函数时, $L(x,\lambda ,\mu )$ 关于 $x$也是二次函数,因而其 Taylor 展开式展开到二次项时余项为 0. 此时, 有如下全局解的充分条件.

命题 3.2.1 (二次优化问题全局解的充分条件) 对于不含约束集的约束优化问题$$\{\begin{array}{ll}\min f_0(x)& \\ s.t{f}_i(x)\le 0,i=1,\cdots ,p,& \\ h_j(x)=0,j=1,\cdots ,q.& \end{array}$$, 设 { f i } i = 0 p , { h j } j = 1 q \{f_i\}_{i=0}^p,\{h_j\}_{j=1}^q {fi​}i=0p​,{hj​}j=1q​ 均为二次函数，$x^{\ast }\in {\mathbb{R}}^n$,存在 ${\lambda }^{\ast }\in {\mathbb{R}}^p,{\mu }^{\ast }\in {\mathbb{R}}^q$,满足 $KKT$ 条件$$\{\begin{array}{l}{x}^{\ast }\in \mathcal{D};\\ {\lambda }_i^{\ast }\ge 0,i=1,\cdots ,p;\\ {\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,\cdots ,p;\\ {\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=0.\end{array}$$,且有下式：$$\begin{array}{r}(x-x^{\ast }{)}^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })(x-x^{\ast })\ge 0,\forall x\in \mathcal{D}\end{array}$$则 $x^{\ast }$ 是一个全局最优解.

证.对任意的$x\in \mathcal{D}$,记$d:=x-x^{\ast }$,那么
$$\begin{array}{rl}\begin{array}{r}{f}_0(x)\ge L(x,{\lambda }^{\ast },{\mu }^{\ast })\end{array}& =L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })+d^T{\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })+\frac{1}{2}{d}^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }{)}^{T}d\\ & \ge L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=f_0(x^{\ast }).\end{array}$$ 所以 $x^{\ast }$ 是一个全局最优解.

注：当$x^{\ast }$ 是一个正则点时，根据 定义 2.1.3 有 $\mathcal{T}(x^{\ast })\cap \partial B(0,1)\subset \mathbf{LFD}(x^{\ast })=\mathbf{SFD}(\overline{x^{\ast })}$.根据 引理 1.2.2 可知，本命题的条件(3) 比局部解的二阶必要条件 $d^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })d\ge 0,\forall d\in \mathcal{T}(x^{\ast })$ 要强.

3.3 无约束二次优化问题

命题 3.3.1 (二次函数之最优解的条件) 设 $f(x):=\frac{1}{2}{x}^{T}Ax+b^{T}x$, 其中 $A$ 是 $n$ 阶实对称矩阵，$x^{\ast }\in {\mathbb{R}}^n$.那么，对于无约束优化问题 $(f,{\mathbb{R}}^n)$,即问题$$\{\begin{array}{ll}\min f_0(x)& \\ s.t{f}_i(x)\le 0,i=1,\cdots ,p,& \\ h_j(x)=0,j=1,\cdots ,q.& \end{array}$$,如下三条相互是等价的：

$(\mathrm{3.3.1.1})x^{\ast }$ 是 $f$ 的一个全局极小点；

$(\mathrm{3.3.1.2})x^{\ast }$ 是 $f$ 的一个局部极小点；

$(\mathrm{3.3.1.3})A$ 是半正定矩阵且 $A{x}^{\ast }+b=0.$

证.根据全局最小点和局部极小点的定义可以知道， (3.3.1.1) 蕴含 (3.3.1.2). 对 $f$ 计算可得$$\begin{array}{r}\begin{array}{r}\nabla f(x^{\ast })=A{x}^{\ast }+b,{\nabla }^{2}f(x^{\ast })=A.\end{array}\end{array}$$因此，若 (3.3.1.2) 成立，那么，由 必要性命题 1.2.1：若 $f$ 在 $x^{\ast }$ 处二阶连续可微，且 $x^{\ast }\in \mathbf{ri}(\mathcal{D})$,则 $\nabla f(x^{\ast }{)}^{T}d=0,d^T{\nabla }^{2}f(x^{\ast })d\ge 0,\forall d\in V_{\mathcal{D}}.$即知 (3.3.1.3) 成立.

设 (3.3.1.3)成立. 利用(4)可知 $\nabla f(x^{\ast })=0$,且 ${\nabla }^{2}f(x^{\ast })$ 半正定. 于是，$\forall x\in {\mathbb{R}}^n$,做Taylor 展开，有$$f(x)=f(x^{\ast })+\frac{1}{2}(x-x^{\ast }{)}^{T}A(x-x^{\ast })\ge f(x^{\ast }).$$所以 $x^{\ast }$ 是 $f$ 在 ${\mathbb{R}}^n$ 上的最小点. 即(3.3.1.1) 成立.

注：二次函数 $f(x):=\frac{1}{2}{x}^{T}Ax+b^{T}x$ 未必总存在极小值点. 事实上，当 $A$ 不是半正定矩阵时，或者 $A$半正定但 $Ax+b=0$ 无解时，$f(x)$ 就不存在极小值点. 此时， ${\inf }_{x\in {\mathbb{R}}^n}f(x)=-\infty$.例如，对于$$A=\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right],b:=\left[\begin{array}{c}{b}_1\\ 0\end{array}\right],c=0,$$有 $f(x)=\frac{1}{2}{x}_2^2+b_1{x}_1,x:=(x_1,x_2{)}^T\in {\mathbb{R}}^2$.当 $b_1\ne 0$ 时，$f(x)$ 不存在最小值点.

推论 3.3.1 (二次函数之全局最优解存在的条件) 设 $A$ 是 $n$ 阶实对称矩阵，那么，二次函数 $f(x):=\frac{1}{2}{x}^{T}Ax+b^{T}x$ 在 ${\mathbb{R}}^n$ 上有最小值点当且仅当 $f(x)$ 在 ${\mathbb{R}}^n$ 上有下界.

证.将$A$做特征分解 $A=U\Lambda U^T$ ,其中 $U$ 是一个 $n$ 阶正交矩阵，$\Lambda =\mathbf{diag}({\lambda }_1,...,{\lambda }_n)$, 其中 ${\lambda }_1\ge ...\ge {\lambda }_n$ 是 $A$ 的全部特征值. 令 $y:=U^{T}x,q:=U^{T}b$, 那么
$$f(x)=\frac{1}{2}{y}^T\Lambda y+q^{T}y=\frac{1}{2}\sum _{i=1}^n({\lambda }_i{y}_i^2+2q_i{y}_i).$$所以 $f(x)$ 在 ${\mathbb{R}}^n$ 上有下界当且仅当对每一个 $1\le i\le n$, 单变量函数$$g_i(y):={\lambda }_i{y}^2+2q_{i}y$$在 R 上有下界.即 ${\lambda }_i\ge 0$ 且 ${\lambda }_i=0$ 时，有 $q_i=0$. 此时，当$$y_i:=\{\begin{array}{llc}-\frac{q_i}{{\lambda }_i}& {\lambda }_i>0,& \\ \text{任意值}& {\lambda }_i=0,& \end{array}i=1,...,n.$$时，$x=Uy$是 $f(x)$ 在 ${\mathbb{R}}^n$ 上的一个最小值点.

例 3.3.1 (最小二乘问题 (LSP: Least Square Problem)) 给定矩阵 $A\in {\mathbb{R}}^{m\times n}$ 和向量 $b\in {\mathbb{R}}^m$, 如下无约束优化问题$$\begin{array}{r}\min \Vert Ax-b{\Vert }_2^2\end{array}$$称为最小二乘问题. $x^{\ast }$ 是其最优解当且仅当 $(A^{T}A)x^{\ast }=A^{T}b$. 该问题的解一定存在且构成一个 $n-r$ 维仿射空间，其中 $r:=\mathbf{rank}(A)$

证.计算可得$$\Vert Ax-b{\Vert }_2^2=x^T(A^{T}A)x-2b^{T}Ax+\Vert b{\Vert }_2^2,$$根据线性代数的内容，假设 $A$ 的列向量分别是 ${\alpha }_1,\cdots ,{\alpha }_n$，那么有： ∣ A X 0 − b ∣  最小 ⟺ 对于任意的  X  都有  ∣ A X 0 − b ∣ ≤ ∣ A X − b ∣ ⟺ A X 0 − b ⊥ U  其中  U = { A X ∣ X ∈ R n } = L ( α 1 , ⋯   , α n ) ⟺ A X 0 − b ⊥ α i ( i = 1 , 2 , ⋯   , n ) ⟺ α i ′ ( A X 0 − b ) = 0 ( i = 1 , 2 , ⋯   , n ) ⟺ ( α 1 ′ ⋮ α n ′ ) ( A X 0 − b ) = 0 ⟺ A ′ ( A X 0 − b ) = 0 ⟺ A ′ A X 0 = A ′ b . \begin{aligned} |AX_{0}-b|\text{ 最小}& \Longleftrightarrow\text{对于任意的 }X\text{ 都有 }|AX_0-b|\leq|AX-b| \\ &\Longleftrightarrow AX_0-b\perp U\text{ 其中 }U=\{AX|X\in\mathbb{R}^n\}=L(\alpha_1,\cdots,\alpha_n) \\ &\Longleftrightarrow AX_0-b\perp\alpha_i(i=1,2,\cdots,n) \\ &\Longleftrightarrow\alpha_i'(AX_0-b)=0(i=1,2,\cdots,n) \\ &\left.\Longleftrightarrow\left(\begin{array}{c}\alpha_1'\\\vdots\\\alpha_n'\end{array}\right.\right)(AX_0-b)=0 \\ &\Longleftrightarrow A^{\prime}(AX_{0}-b)=0 \\ &\Longleftrightarrow A^{\prime}AX_{0}=A^{\prime}b. \end{aligned} ∣AX0​−b∣ 最小​⟺对于任意的 X 都有 ∣AX0​−b∣≤∣AX−b∣⟺AX0​−b⊥U 其中 U={AX∣X∈Rn}=L(α1​,⋯,αn​)⟺AX0​−b⊥αi​(i=1,2,⋯,n)⟺αi′​(AX0​−b)=0(i=1,2,⋯,n)⟺ ​α1′​⋮αn′​​ ​(AX0​−b)=0⟺A′(AX0​−b)=0⟺A′AX0​=A′b.​记 $r:=\mathbf{rank}(A)$，即$r$表示矩阵的秩

一方面$$r(A^{\prime }A,A^{\prime }b)=r(A^{\prime }(A,b))\le r(A^{\prime })=r(A).$$另一方面$$r(A^{\prime }A,A^{\prime }b)\ge r(A^{\prime }A)=r(A),$$这就说明$$r(A^{\prime }A,A^{\prime }b)=r(A)=r(A^{\prime }A).$$

所以线性方程组 $(A^{T}A)x=A^{T}b$ 有解，且其解就是上述最小二乘问题的解.

根据上面的推导可以知道，该线性方程组的增广矩阵 $(A^{T}A,A^{T}b)=A^T(A,b)$ 的秩就等于 $\mathbf{rank}(A^T)=r=\mathbf{rank}(A^{T}A),$ 所以该线性方程组有解，其有 $n-r$ 个基向量，且解空间构成一个 $n-r$ 维仿射空间.

3.4 一个典型的二次等式约束二次优化问题

给定$n$阶对称矩阵$A，B$，考虑如下的优化问题：$$\begin{array}{r}\{\begin{array}{ll}\min x^{T}Ax& \\ s.t{x}^{T}x=1,& \\ x^{T}Bx=1.& \end{array}\end{array}$$记 D : = { x ∈ R n ∣ x T x = 1 , x T B x = 1 } \mathcal{D}:=\{x\in\mathbb{R}^n|x^Tx=1,x^TBx=1\} D:={x∈Rn∣xTx=1,xTBx=1}，当 $\mathcal{D}$ 非空时, 根据函数的连续性可知该优化问题的全局最优解是存在的.

若 $x^{\ast }\in \mathcal{D}$ 是问题(6)的全局解, 且 { x ∗ , B x ∗ } \left \{ x^∗, Bx^∗ \right \} {x∗,Bx∗} 线性无关, 根据局部解的二阶必要条件 (命题 2.2.5),存在 ${\alpha }^{\ast },{\beta }^{\ast }\in \mathbb{R}$, 使得$$\begin{array}{r}H{x}^{\ast }=0,d^{T}Hd\ge 0,\forall d\in \mathcal{T}(x^{\ast }),\end{array}$$其中， T ( x ∗ ) : = ( s p a n { x ∗ , B x ∗ } ) ⊥ \mathcal{T}(x^*):=\left(\mathbf{span}\{x^*,Bx^*\}\right)^\perp T(x∗):=(span{x∗,Bx∗})⊥ 是问题(6) 的约束条件的切空间，而根据命题 3.2.1当$$\begin{array}{r}H{x}^{\ast }=0,d^{T}Hd\ge 0,\forall d\in \mathcal{D}-x^{\ast },\end{array}$$时，$x^{\ast }$ 是问题(6)全局解.

下面命题则可以说明必要条件可以加强为 $H{x}^{\ast }=0,H⪰0.$

命题 3.4.1 (Bar-on and Grasse) 设 $x^{\ast }\in \mathcal{D}$,且使得 { x ∗ , R x ∗ } \{x^*,Rx^*\} {x∗,Rx∗} 线性无关，则 $x^{\ast }$ 是问题(6)的全局解当且仅当存在 ${\alpha }^{\ast },{\beta }^{\ast }\in \mathbb{R}$, 使得(8)所定义的 $H$ 满足：$$\begin{array}{r}H{x}^{\ast }=0,H⪰0.\end{array}$$

Reference

包括但不限于以下内容：

(1)Stephen Boyd, Stephen P Boyd, and Lieven Vandenberghe. Convex
optimization. Cambridge university press, 2004.

(2) JR Bar-On and KA Grasse. Global optimization of a quadratic functional with quadratic equality constraints. Journal of Optimization Theory and Applications, 82(2):379–386, 1994.

(3) JR Bar-On and KA Grasse. Global optimization of a quadratic functional with quadratic equality constraints, part 2. Journal of Optimization Theory and Applications, 93(3):547–556, 1997.