凸优化简介8

有约束的最小化

1. 问题的基本定义

有约束的最小化问题，可以描述为如下的形式：

$$\begin{array}{rl}& minimize{f}_0(x)\\ & s.t.f_i(x)\le 0,i=1,\dots ,m\end{array}$$
其中$f_i(x)$是光滑的函数。
一般情况下 ，针对带约束的最小化问题，主要有 拉格朗日松弛方法、惩罚函数法和壁垒(barrier)法。

2. 拉格朗日松弛

定理：令函数 $F(x,\lambda )$在 $x\in {\mathcal{L}}_1\subseteq {\mathbb{R}}^n$和 $\lambda \in {\mathcal{L}}_2\subseteq {\mathbb{R}}^m$上，其中 ${\mathcal{L}}_1$和 ${\mathcal{L}}_2$都是非空的，那么;
$\underset{\lambda \in {\mathcal{L}}_2}{\sup }\underset{x\in {\mathcal{L}}_1}{\inf }F(x,\lambda )\le \underset{x\in {\mathcal{L}}_1}{\inf }\underset{\lambda \in {\mathcal{L}}_2}{\sup }F(x,\lambda )$. $sup$是取上限，$inf$是取下限。

证明：设 $f(x)=\underset{\lambda \in {\mathcal{L}}_2}{\sup }F(x,\lambda )$且 $g(\lambda )=\underset{x\in {\mathcal{L}}_1}{\inf }F(x,\lambda )$。由于 $f(x)，g(\lambda )$分别是函数 $F(x,\lambda )$的上界和下界，因此可以得到 $g(\lambda )\le F(x,\lambda )\le f(x)$。$\underset{\lambda \in {\mathcal{L}}_2}{\sup }\underset{x\in {\mathcal{L}}_1}{\inf }F(x,\lambda )=\underset{\lambda \in {\mathcal{L}}_2}{\sup }g(\lambda )\le \underset{x\in {\mathcal{L}}_1}{\inf }f(x)=\underset{x\in {\mathcal{L}}_1}{\inf }\underset{\xi \in {\mathcal{L}}_2}{\sup }F(x,\xi )$.
f ∗ = inf ⁡ x ∈ L { f 0 ( x ) : f j ( x ) ≤ 0 , j = 1 , … , m } = inf ⁡ x ∈ L sup ⁡ λ ∈ R + m { L ( x , λ ) ≜ f 0 ( x ) + ⟨ λ , f ( x ) ⟩ } f^*=\inf \limits_{x\in \mathcal{L}}\{f_0(x):f_j(x)\leq 0,j=1,\dots,m\}=\inf \limits_{x\in \mathcal{L}}\sup \limits_{\lambda \in \mathbb{R}_+^m}\{\mathcal{L}(x,\lambda)\triangleq f_0(x)+\langle \lambda, f(x)\rangle\} f∗=x∈Linf​{ f0​(x):fj​(x)≤0,j=1,…,m}=x∈Linf​λ∈R+m​sup​{ L(x,λ)≜f0​(x)+⟨λ,f(x)⟩}. 其中 $\mathcal{L}(x,\lambda )$是上面问题的 拉格朗日函数。
设 Ψ ( λ ) = inf ⁡ x ∈ L L ( x , λ ) d o m Ψ = { λ ∈ R m : Ψ ( λ ) > − ∞ } X ∗ ( λ ) = a r g inf ⁡ x ∈ L L ( x , λ ) \Psi(\lambda)=\inf \limits_{x\in \mathcal{L}}\mathcal{L}(x,\lambda)\\ dom \Psi=\{\lambda \in \mathcal{R}^m:\Psi(\lambda)>-\infty\}\\ X^*(\lambda)=arg \inf\limits_{x\in \mathcal{L}}\mathcal{L}(x,\lambda) Ψ(λ)=x∈Linf​L(x,λ)domΨ={ λ∈Rm:Ψ(λ)>−∞}X∗(λ)=argx∈Linf​L(x,λ)。
其中$X^{\ast }(\lambda )$是对应最小化问题的全局解的集合。假定对于所有来自这个集合的$\lambda$有$X^{\ast }(\lambda )\ne \varnothing$，这样就得到了 拉格朗日对偶问题：
f ∗ ≜ sup ⁡ λ { Ψ ( λ ) : λ ∈ d o m Ψ ∩ R + m } ≤ f ∗ f_*\triangleq\sup\limits_{\lambda}\{\Psi(\lambda):\lambda\in dom\Psi \cap \mathbb{R}^{m}_{+}\}\leq f^* f∗​≜λsup​{ Ψ(λ):λ∈domΨ∩R+m​}≤f∗.
对于任意两个来自 $dom\Psi$的向量 ${\lambda }_1$和${\lambda }_2$以及任意的 $x_1\in X^{\ast }({\lambda }_1),x_2\in X^{\ast }({\lambda }_2)$，有：
$\Psi ({\lambda }_2)=$