807补充（七）（拉格朗日乘子篇）

807补充七（拉格朗日乘子篇）

一.几何解释

⽬前为⽌，我们已经考虑了在形式为$g(\mathbf{x})=0$的等式限制（equality constraint）下最⼤化函数的问题。我们现在考虑形式为$g(\mathbf{x})\ge 0$的不等式限制（inequality constraint）下最⼤化函数$f(x)$的问题，如图所示。

根据受限制条件下的驻点是否位于区域 $g(\mathbf{x})>0$ 中, 有两种可能的解。如果驻点位于 $g(\mathbf{x})>0$ 的区域中, 我们说限制条件未激活（inactive）。如果驻点位于 $g(\mathbf{x})=0$ 的边界上,我们说限制条件激活 (active)。在第一种情况下, 函数 $g(\mathbf{x})$ 不起作用, 函数在驻点处的条件只是 $\nabla f(\mathbf{x})=0$ 。这同样对应于拉格朗日方程 $L(\mathbf{x},\lambda )\equiv f(\mathbf{x})+\lambda g(\mathbf{x})$的驻点, 但是 $\lambda =0$ 。在后一种情况下, 解位于边界上, 这类似于之前讨论过的等式限制的情形, 对应于拉格朗日方程在 $\lambda \ne 0$ 的条件下的驻点。但是现在, 拉格朗日乘子的符号很重要, 因为只有当梯度向量指向远离 $g(\mathbf{x})>0$ 的区域时, 函数 $f(\mathbf{x})$ 才会取得最大值(不然的话驻点就不会在边界上，而是在内部), 如图所示。于是对于某些 $\lambda >0$, 我们有 $\nabla f(\mathbf{x})=-\lambda \nabla g(\mathbf{x})$ 。

对于两种情况中的任意一种, 乘积 $\lambda g(\mathbf{x})=0$ 。因此在限制条件 $g(\mathbf{x})\ge 0$ 下最大化 $f(\mathbf{x})$ 的问题的解可以通过下面的方式获得：关于 $\mathbf{x}$ 和 $\lambda$ 最优化拉格朗日函数 ，限制条件为
$$\begin{array}{c}g(\mathbf{x})\ge 0\\ \lambda \ge 0\\ \lambda g(\mathbf{x})=0\\ \nabla f(\mathbf{x})+\lambda \nabla g(\mathbf{x})=0\end{array}$$

这些被称为Karush-Kuhn-Tucker (KKT)条件（Karush, 1939; Kuhn and Tucker, 1951）。
注意, 如果我们想在不等式限制 $g(\mathbf{x})\ge 0$ 下最小化（而不是最大化）函数 $f(\mathbf{x})$, 那么我们要关于 $\mathbf{x}$ 最小化拉格朗日函数 $L(\mathbf{x},\lambda )=f(\mathbf{x})-\lambda g(\mathbf{x})$, 限制条件为 $\lambda \ge 0$ 。

最后, 将拉格朗日乘数法的技术推广到多个等式限制和不等式限制的情形是很直接的。假设我们希望在限制条件为 $g_j(\mathbf{x})=0,j=1,\dots ,J$ 和 $h_k(\mathbf{x})\ge 0,k=1,\dots ,K$ 的情况下最大化 $f(\mathbf{x})$,我们就会引入拉格朗日乘数 { λ j } \left\{\lambda_j\right\} {λj​} 和 { μ k } \left\{\mu_k\right\} {μk​}, 然后最优化下面的拉格朗日函数
L ( x , { λ j } , { μ k } ) = f ( x ) + ∑ J λ j g j ( x ) + ∑ K μ k h k ( x ) L\left(\boldsymbol{x},\left\{\lambda_j\right\},\left\{\mu_k\right\}\right)=f(\boldsymbol{x})+\sum^J \lambda_j g_j(\boldsymbol{x})+\sum^K \mu_k h_k(\boldsymbol{x}) L(x,{λj​},{μk​})=f(x)+∑J​λj​gj​(x)+∑K​μk​hk​(x)
限制条件为${\mu }_k\ge 0$

由此得出原问题
$$\begin{array}{r}\text{maxmize}f(\mathbf{x})\\ \text{s.t}h({\mathbf{x}}_i)\ge 0\\ g({\mathbf{x}}_j)=0\\ \Updownarrow \\ \text{minmize}-f(\mathbf{x})\\ \text{s.t}-h({\mathbf{x}}_i)\le 0\\ -g({\mathbf{x}}_j)=0\end{array}$$
的无约束形式是
maxmize L ( x , { λ j } , { μ k } ) = f ( x ) + ∑ J λ j g j ( x ) + ∑ K μ k h k ( x ) μ k ≥ 0 ⇕ minmize − L ( x , { λ j } , { μ k } ) = − f ( x ) − ∑ J λ j g j ( x ) − ∑ K μ k h k ( x ) μ k ≥ 0 \text{maxmize}\qquad L\left(\boldsymbol{x},\left\{\lambda_j\right\},\left\{\mu_k\right\}\right)=f(\boldsymbol{x})+\sum^J \lambda_j g_j(\boldsymbol{x})+\sum^K \mu_k h_k(\boldsymbol{x})\qquad \mu_k \geq 0\\ \Updownarrow\\ \text{minmize}\qquad -L\left(\boldsymbol{x},\left\{\lambda_j\right\},\left\{\mu_k\right\}\right)=-f(\boldsymbol{x})-\sum^J \lambda_j g_j(\boldsymbol{x})-\sum^K \mu_k h_k(\boldsymbol{x})\qquad \mu_k \geq 0 maxmizeL(x,{λj​},{μk​})=f(x)+∑J​λj​gj​(x)+∑K​μk​hk​(x)μk​≥0⇕minmize−L(x,{λj​},{μk​})=−f(x)−∑J​λj​gj​(x)−∑K​μk​hk​(x)μk​≥0
改写形式，转化为优化标准型
$$\begin{gathered} \begin{array}{rl}{\min }_{\mathbf{x}\in {\mathbb{R}}^n}& f_0(\mathbf{x}),\\ \text{ s.t. }& f_i(\mathbf{x})⩽0,i\in \mathcal{I},\\ & h_j(\mathbf{x})=0,j\in \mathcal{E},\end{array} \\ \iff \\ \text{minmize}L(\mathbf{x},\lambda ,v)=f_0(\mathbf{x})+\sum _{i\in \mathcal{I}}{\lambda }_i{f}_i(\mathbf{x})+\sum _{i\in \mathcal{E}}{v}_j{h}_i(\mathbf{x}){\lambda }_i\ge 0 \end{gathered}$$

二.凸优化基础

对于 ${\mathbb{R}}^n$ 中的两个点 $x_1\ne x_2$, 形如
$$y=\theta x_1+(1-\theta )x_2$$

的点形成了过点 $x_1$ 和 $x_2$ 的直线. 当 $0⩽\theta ⩽1$ 时, 这样的点形成了连接点 $x_1$ 与 $x_2$ 的线段.

仿射集:如果过集合 $C$ 中任意两点的直线都在 $C$ 内, 则称 $C$ 为仿射集, 即
$$x_1,x_2\in C⟹\theta x_1+(1-\theta )x_2\in C,\forall \theta \in \mathbb{R}.$$

线性方程组 $Ax=b$ 的解集是仿射集. 反之, 任何仿射集都可以表示成一个线性方程组的解集

凸集:如果连接集合 $C$ 中任意两点的线段都在 $C$ 内, 则称 $C$ 为凸集，即
$$x_1,x_2\in C⟹\theta x_1+(1-\theta )x_2\in C,\forall 0⩽\theta ⩽1\text{. }$$

从仿射集的定义容易看出仿射集都是凸集。

从凸集可以引出凸组合和凸包等概念. 形如
$$\begin{array}{r}x={\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_k{x}_k\\ {\theta }_1+{\theta }_2+\cdots +{\theta }_k=1,{\theta }_i⩾0,i=1,2,\cdots ,k\end{array}$$

的点称为 $x_1,x_2,\cdots ,x_k$ 的凸组合. 集合 $S$ 中点所有可能的凸组合构成的集合称作 $S$ 的凸包, 记作 $\mathrm{conv}S$. 实际上, $\mathrm{conv}S$ 是包含 $S$ 的最小的凸集. 如图所示, 左边的为离散点集的凸包, 右边的为扇形的凸包.

仿射包: 设 $S$ 为 ${\mathbb{R}}^n$ 的子集，称如下集合为 $S$ 的仿射包:
{ x ∣ x = θ 1 x 1 + θ 2 x 2 + ⋯ + θ k x k , x 1 , x 2 , ⋯   , x k ∈ S , θ 1 + θ 2 + ⋯ + θ k = 1 } , \left\{x \mid x=\theta_1 x_1+\theta_2 x_2+\cdots+\theta_k x_k, \quad x_1, x_2, \cdots, x_k \in S, \quad \theta_1+\theta_2+\cdots+\theta_k=1\right\}, {x∣x=θ1​x1​+θ2​x2​+⋯+θk​xk​,x1​,x2​,⋯,xk​∈S,θ1​+θ2​+⋯+θk​=1},

记为 affine $S$.

​ 一般而言，一个集合的仿射包实际上是包含该集合的最小的仿射集。

球和椭球也是常见的凸集. 球是空间中到某个点距离（或两者差的范数) 小于某个常数的点的集合, 并将
B ( x c , r ) = { x ∣ ∥ x − x c ∥ 2 ⩽ r } = { x c + r u ∣ ∥ u ∥ 2 ⩽ 1 } B\left(x_c, r\right)=\left\{x \mid\left\|x-x_c\right\|_2 \leqslant r\right\}=\left\{x_c+r u \mid\|u\|_2 \leqslant 1\right\} B(xc​,r)={x∣∥x−xc​∥2​⩽r}={xc​+ru∣∥u∥2​⩽1}

称为中心为 $x_c$, 半径为 $r$ 的 (欧几里得) 球. 而形如
$$\left\{x\mid {\left(x-x_c\right)}^{\mathrm{T}}{P}^{-1}\left(x-x_c\right)⩽1\right\}$$

的集合称为椭球, 其中 $P\in {\mathcal{S}}_{++}^n$ (即 $P$ 对称正定). 椭球的另一种表示为 { x c + A u ∣ ∥ u ∥ 2 ⩽ 1 } , A \left\{x_c+A u \mid\|u\|_2 \leqslant 1\right\}, A {xc​+Au∣∥u∥2​⩽1},A 为非奇异的方阵.

在定义一个球时, 并不一定要使用欧几里得空间的距离. 对于一般的范数, 同样可以定义 “球”. 令 $\Vert \cdot \Vert$ 是任意一个范数,
{ x ∣ ∥ x − x c ∥ ⩽ r } \left\{x \mid\left\|x-x_c\right\| \leqslant r\right\} {x∣∥x−xc​∥⩽r}

称为中心为 $x_c$, 半径为 $r$ 的范数球. 另外, 我们称集合
$$\{(x,t)\mid \Vert x\Vert ⩽t\}$$

为范数雉. 欧几里得范数雉也称为二次雉. 范数球和范数雉都是凸集.

凸函数:设函数 $f$ 为适当函数, 如果 $\mathrm{dom}f$ 是凸集, 且
$$f(\theta x+(1-\theta )y)⩽\theta f(x)+(1-\theta )f(y)$$

对所有 $x,y\in \mathrm{dom}f,0⩽\theta ⩽1$ 都成立, 则称 $f$ 是凸函数.

直观地来看, 连接凸函数的图像上任意两点的线段都在函数图像上方,相应地, 我们也可以定义凹函数：若 $-f$ 是凸函数, 则称 $f$ 是凹函

数.只要改变一下符号, 很多凸函数的性质都可以直接应用到凹函数上. 另外,如果 $\mathrm{dom}f$ 是凸集, 且
$$f(\theta x+(1-\theta )y)<\theta f(x)+(1-\theta )f(y)$$

对所有的 $x,y\in \mathrm{dom}f,x\ne y,0<\theta <1$ 成立, 则称 $f$ 是严格凸函数.

相对内点集：给定集合 $\mathcal{D}$, 记其仿射包为 affine $\mathcal{D}$ . 集合 $\mathcal{D}$ 的相对内点集 定义为
 relint  D = { x ∈ D ∣ ∃ r > 0 , 使得  B ( x , r ) ∩  affine  D ⊆ D } . \text { relint } \mathcal{D}=\{x \in \mathcal{D} \mid \exists r>0 \text {, 使得 } B(x, r) \cap \text { affine } \mathcal{D} \subseteq \mathcal{D}\} .  relint D={x∈D∣∃r>0, 使得 B(x,r)∩ affine D⊆D}.

凸优化问题:凸优化问题是一类特殊的优化问题，它的定义略有不同:
$$\begin{array}{rl}\text{minimize}& f_0(x)\\ & \\ \text{s.t}& f_i(x)\le 0,i=1,2,\cdot \cdot \cdot m\\ & \\ & a_i^{T}x=b_i,i=1,2,\cdot \cdot \cdot ,p\end{array}$$

其中$f_0,f_1,\cdot \cdot \cdot ,f_m$为凸函数。可以看到，凸优化问题与一般优化问题的区别在于：

• 目标函数必须是凸的

• 不等式约束函数必须是凸的

• 等式约束函数必须是仿射的

三.slater条件

KKT条件只是取得极小值的必要条件，想要判定是否能取得极小值还需要一些额外的条件。

如果原优化问题是凸问题，即形如
$$\begin{array}{rl}\text{minimize}& f_0(x)\\ & \\ \text{s.t}& f_i(x)\le 0,i=1,2,\cdot \cdot \cdot m\\ & \\ & a_i^{T}x=b_i,i=1,2,\cdot \cdot \cdot ,p\end{array}$$
问题中$f_0,f_1,\cdot \cdot \cdot ,f_m$均为凸函数等式约束为仿射的，则KKT条件通常就是充要条件。

如果原问题是凸的且满足Slater条件：存在一点$x\in \text{relint}D$（可以简单理解为$D$的内点集，也就是$D$去掉边界后的部分）使得所有的不等式约束严格成立、等式约束成立，即
$$f_i(x)<0,i=1,2,\cdot \cdot \cdot ,m,Ax=b$$
则KKT条件就是充要条件！ 如果不等式约束$f_i$中前$K$个是仿射的，则可以得到弱Slater条件，即：存在一点$x\in \text{relint}D$使得
$$f_i(x)\le 0,i=1,2,\cdot \cdot \cdot ,k,f_i(x)<0,i=k+1,\cdot \cdot \cdot ,m,Ax=b$$
则KKT条件也是充要条件。

四.线性无关的约束限制

对于不等式约束 $f_i(\mathbf{x})⩽0,i=1,\cdots ,m$, 若在点 $\overline{\mathbf{x}}$ 有 $f_i(\overline{\mathbf{x}})=0$, 则称第 $i$ 个约束是在 $\overline{\mathbf{x}}$ 点的积极约束 (active constraint); 若 $f_i(\overline{\mathbf{x}})<0$, 则称第 $i$ 个约束是在 $\overline{\mathbf{x}}$ 点的非积极约束 (inactive constraint)。若 $f_i(\overline{\mathbf{x}})>0$, 则称第 $i$ 个约束是在 $\overline{\mathbf{x}}$ 点的违法约束 (violated constraint)。在 $\overline{\mathbf{x}}$ 点的所有积极约束的指标集 A ( x ‾ ) = { i ∣ f i ( x ‾ ) = 0 } \mathcal{A}(\overline{\boldsymbol{x}})=\left\{i \mid f_i(\overline{\boldsymbol{x}})=0\right\} A(x)={i∣fi​(x)=0} 称为 $\overline{\mathbf{x}}$ 点的作用集 (active set)。

令 $m$ 个不等式约束 $f_i(\mathbf{x}),i=1,\cdots ,m$ 在某个 $\mathrm{KKT}$ 点 ${\mathbf{x}}^{\star }$ 共有 $k$ 个积极约束 $f_{\mathcal{A}1}\left({\mathbf{x}}^{\star }\right),\cdots ,f_{\mathcal{A}k}\left({\mathbf{x}}^{\star }\right)$ 和 $m-k$ 个非积极约束。

为了满足 $\mathrm{KKT}$ 条件中的互补性 ${\lambda }_i{f}_i\left({\mathbf{x}}^{\star }\right)=0$, 与非积极约束 $f_i\left({\mathbf{x}}^{\star }\right)<0$ 对应的 Lagrangian 乘子 ${\lambda }_i^{\star }$ 必须等于零。这意味着, 式 中的最后一个 KKT 条件变为
$$\nabla f_0\left({\mathbf{x}}^{\star }\right)+\sum _{i\in \mathcal{A}}{\lambda }_i^{\star }\nabla f_i\left({\mathbf{x}}^{\star }\right)+\sum _{i=1}^q{\nu }_i^{\star }\nabla h_i\left({\mathbf{x}}^{\star }\right)=0$$

或者
$$\left[\begin{array}{c}\frac{\partial f_0\left({\mathbf{x}}^{\star }\right)}{\partial x_1^{\star }}\\ ⋮\\ \frac{\partial f_0\left({\mathbf{x}}^{\star }\right)}{\partial x_n^{\star }}\end{array}\right]+\left[\begin{array}{ccc}\frac{\partial h_1\left({\mathbf{x}}^{\star }\right)}{\partial x_1^{\star }}& \cdots & \frac{\partial h_q\left({\mathbf{x}}^{\star }\right)}{\partial x_1^{\star }}\\ ⋮& \ddots & ⋮\\ \frac{\partial h_1\left({\mathbf{x}}^{\star }\right)}{\partial x_n^{\star }}& \cdots & \frac{\partial h_q\left({\mathbf{x}}^{\star }\right)}{\partial x_n^{\star }}\end{array}\right]\left[\begin{array}{c}{\nu }_1^{\star }\\ ⋮\\ {\nu }_q^{\star }\end{array}\right]=-\left[\begin{array}{ccc}\frac{\partial f_{\mathcal{A}1}\left({\mathbf{x}}^{\star }\right)}{\partial x_1^{\star }}& \cdots & \frac{\partial f_{\mathcal{A}k}\left({\mathbf{x}}^{\star }\right)}{\partial x_1^{\star }}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_{\mathcal{A}1}\left({\mathbf{x}}^{\star }\right)}{\partial x_n^{\star }}& \cdots & \frac{\partial f_{\mathcal{A}k}\left({\mathbf{x}}^{\star }\right)}{\partial x_n^{\star }}\end{array}\right]\left[\begin{array}{c}{\lambda }_{\mathcal{A}1}^{\star }\\ ⋮\\ {\lambda }_{\mathcal{A}k}^{\star }\end{array}\right]$$

既有
$$\nabla f_0\left({\mathbf{x}}^{\star }\right)+{\left({\mathbf{J}}_h\left({\mathbf{x}}^{\star }\right)\right)}^{\mathrm{T}}{\mathbf{\nu }}^{\star }=-{\left({\mathbf{J}}_{\mathcal{A}}\left({\mathbf{x}}^{\star }\right)\right)}^{\mathrm{T}}{\mathbf{\lambda }}_{\mathcal{A}}^{\star }$$
式中 ${\mathbf{J}}_h\left({\mathbf{x}}^{\star }\right)$ 是等式约束 $h_i(\mathbf{x})=0,i=1,\cdots ,q$ 在点 ${\mathbf{x}}^{\star }$ 的 Jacobian 矩阵, 而
$$\begin{array}{rl}{\mathbf{J}}_{\mathcal{A}}\left({\mathbf{x}}^{\star }\right)& =\left[\begin{array}{ccc}\frac{\partial f_{\mathcal{A}1}\left({\mathbf{x}}^{\star }\right)}{\partial x_1^{\star }}& \cdots & \frac{\partial f_{\mathcal{A}1}\left({\mathbf{x}}^{\star }\right)}{\partial x_n^{\star }}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_{\mathcal{A}k}\left({\mathbf{x}}^{\star }\right)}{\partial x_1^{\star }}& \cdots & \frac{\partial f_{\mathcal{A}k}\left({\mathbf{x}}^{\star }\right)}{\partial x_n^{\star }}\end{array}\right]\in {\mathbb{R}}^{k\times n}\\ {\lambda }_{\mathcal{A}}^{\star }& =\left[{\lambda }_{\mathcal{A}1}^{\star },\cdots ,{\lambda }_{\mathcal{A}k}^{\star }\right]\in {\mathbb{R}}^k\end{array}$$

分别是积极约束的 Jacobian 矩阵和 Lagrangian 乘子向量。
上式表明, 若积极约束在可行点 $\overline{\mathbf{x}}$ 的 Jacobian 矩阵 ${\mathbf{J}}_{\mathcal{A}}(\overline{\mathbf{x}})$ 满行秩（存在右伪逆）, 则积极约束的 Lagrangian 乘子向量可由
$${\mathbf{\lambda }}_{\mathcal{A}}^{\star }=-{\left({\mathbf{J}}_{\mathcal{A}}(\overline{\mathbf{x}}){\mathbf{J}}_{\mathcal{A}}(\overline{\mathbf{x}}{)}^{\mathrm{T}}\right)}^{-1}{\mathbf{J}}_{\mathcal{A}}(\overline{\mathbf{x}})\left[\nabla f_0(\overline{\mathbf{x}})+{\left({\mathbf{J}}_h(\overline{\mathbf{x}})\right)}^{\mathrm{T}}{\mathbf{\nu }}^{\star }\right]$$

唯一确定。为此, 对积极约束的梯度向量有以下规定。

考虑不等式约束 $f_i(\mathbf{x})⩽0$ 。称线性无关约束规定 (LICQ: linear independence constraint qualification) 在可行点 $\overline{\mathbf{x}}$ 成立, 若积极约束的梯度 $\nabla f_{\mathcal{A}i}(\overline{\mathbf{x}}),i\in \mathcal{A}$ 线性无关, 或积极约束的 Jacobian 矩阵 $J_{\mathcal{A}}(\bar{x})$ 满行秩。