最优化之凸集、凸函数、上确界、Jensen不等式、共轭函数、Fenchel不等式、拉格朗日乘子法、KKT条件

最优化之凸集、凸函数、上确界、Jensen不等式、共轭函数、Fenchel不等式、拉格朗日乘子法、KKT条件、拉格朗日对偶

---

1.直线的向量表达

1.1 共线定理

对于任意两个向量$\vec{a},\vec{b}$且$\vec{b}̸=0$，当$\vec{a}||\vec{b}$时，存在唯一实数$\lambda$，使得$\vec{a}=\lambda \vec{b}$

1.2 共面定理

如果两个向量$\vec{a},\vec{b}$不共线，则向量$\vec{p}$与向量$\vec{a},\vec{b}$共面的充要条件是存在唯一的实数对$x,y$，使得
$$\vec{p}=x\vec{a}+y\vec{b}$$

1.3 直线的向量参数方程

使用上图作为参考，我们得到：
对于直线上任意第一点$P$，我们有
$$\overrightarrow{AP}=\theta \overrightarrow{AB}$$
$$\begin{array}{rl}\overrightarrow{OP}& =\overrightarrow{OA}+\overrightarrow{AP}\\ & =\overrightarrow{OA}+\theta \overrightarrow{AB}\\ & =\overrightarrow{OA}+\theta (\overrightarrow{AO}+\overrightarrow{OB})\\ & =\overrightarrow{OA}+\theta \overrightarrow{AO}+\theta \overrightarrow{OB}\\ & =\overrightarrow{OA}-\theta \overrightarrow{OA}+\theta \overrightarrow{OB}\\ & =(1-\theta )\overrightarrow{OA}+\theta \overrightarrow{OB}\end{array}\text{\hspace{1em}(1)}$$
设$O$为原点$(0,0)$，假设$A$点坐标为$(5,1)$，$B$点坐标为$(2,3)$。则对于$\theta \in R$有，$P$点$(x,y)$与$A,B$两点共线。根据公式1有：
$$\overrightarrow{(x,y)}=(1-\theta )\cdot \overrightarrow{(5,1)}+\theta \cdot \overrightarrow{(2,3)}$$
则有
$$\{\begin{array}{l}x=(1-\theta )\cdot 5+\theta \cdot 2\\ y=(1-\theta )\cdot 1+\theta \cdot 3\end{array},\theta \in R\text{\hspace{1em}(2)}$$

当$\theta \in R$时，点$P$即$(x,y)$表示的是过点$A,B$的直线；而当$\theta \in [0,1]$时，点$P$即$(x,y)$表示的是线段$AB$。

对于三维平面及以上之后再补充论证。

2. 凸集

2.1 仿射集

仿射集:如通过集合$C$中任意两个不同点$a,b$的直线仍在集合$C$内，则称集合$C$为仿射集。
$$\forall a,b\in C,\forall \theta \in R,则c=\theta \cdot a+(1-\theta )\cdot b\in C$$

2.2 凸集

凸集:如通过集合$C$中任意两个不同点$a,b$的线段仍在集合$C$内，则称集合$C$为凸集。
$$\forall a,b\in C,\forall \theta \in [0,1],则c=\theta \cdot a+(1-\theta )\cdot b\in C$$

3. 凸函数

3.1 凸函数定义

若函数$f$的定义域$domf$为凸集，且满足
$$\forall x_1,x_2\in domf,\theta \in [0,1],有f(\theta x_1+(1-\theta )x_2)\le \theta f(x_1)+(1-\theta )f(x_2)$$
则该函数$f$为凸函数。其中，我们可以将$\theta x_1+(1-\theta )x_2$看做公式2中计算的$x$，将$\theta f(x_1)+(1-\theta )f(x_2)$看做公式2中计算的$y$，这样的话该公式
简而言之，就是函数$f$上的任意两点$a,b$连接成的线段，都在$a,b$之间函数$f$取值之上。如图所示（图中的$t$与上文中$\theta$相同）：

如果一个函数是凸函数，那该函数的图像上方区域一定是凸集；同样的，一个函数图像的上方区域是凸集，那么该函数为凸函数。

3.2 保持函数凸性的算子

1. 凸函数的非负加权和：
   $$f(x)={\theta }_1{f}_1(x)+{\theta }_2{f}_2(x)+\cdots +{\theta }_n{f}_n(x),{\theta }_n>0$$
2. 凸函数与仿射函数的复合函数：
   $$y=u^2是凸函数，u=ax+b(直线为仿射函数),则y=(ax+b{)}^2为凸函数$$
3. 凸函数的逐点最大值构成的函数：
   f ( x ) = m a x { f 1 ( x ) , f 2 ( x ) , … , f n ( x ) } f(x) = max\{f_1(x),f_2(x), \dots,f_n(x)\} f(x)=max{f1​(x),f2​(x),…,fn​(x)}即选取在定义域中，各个函数对于每一点的最大值组合成的函数，同样为凸函数
4. 凸函数的逐点上确界构成的函数

4. Jensen 不等式

Jensen不等式是将上述的凸函数性质拓展到了$n$个点上了。

对于任意点集 { x 1 , x 2 , … , x n } \{x_1,x_2,\dots,x_n\} {x1​,x2​,…,xn​}，若${\theta }_i\ge 0,{\sum }_{i=1}^n{\theta }_i=1$，则对于凸函数$f(x)$有：
$$f(\sum _{i=1}^m{\theta }_i{x}_i)\le \sum _{i=1}^m{\theta }_{i}f(x_i)$$

证明用数学归纳法。

在概率论中，如果把${\theta }_i$看做是$x_i$的离散概率分布，那可以将上式改写为：
$$f(E[x])\le E[f(x)]$$
其中，$E[\cdot ]$表示数学期望。

对于连续变量，有：
$$f(\int xp(x)dx)\le \int f(x)p(x)dx$$

5. 共轭函数(对偶函数)

定义

对于原函数（不一定是凸函数）$f(x),x\in domf$，其共轭函数为：
$$f^{\ast }(y)=\underset{x\in domf}{\sup }(<y,x>-f(x))$$
其中，$<y,x>$为两个变量的內积

• 对于标量：$<y,x>=yx$
• 对于向量：$<y,x>=y^{T}x$
• 对于$n\times n$矩阵：$<y,x>=tr(yx)$
  特别注意的是，共轭函数的定义域$dom{f}^{\ast }$要求对于$x\in domf$时，$<y,x>-f(x)$有上界，即$f^{\ast }(y)$不能无穷大。

物理意义

对于共轭函数$f^{\ast }(y)$，我们可以将$<y,x>$看成是一条过原点的直线。那么$y$就可以看做是直线的斜率，一个$y$对应一条直线。

那么共轭函数的意思就是，对于每一条直线，求在原函数定义域$domf$（即$x$可以取得值中）上，直线与原函数对应点距离最大的值（上确界）。

如图：

当什么时候对于确定的直线，与原函数的差最大呢？答案是：当原函数切线与直线斜率相同的点，差值最大。

这一结论可以通过上图直接观察得出，也可通过求导得到，如下：
$$\frac{\partial (<y,x>-f(x))}{\partial x}=y-f^{\prime }(x)=0$$
所以通过上式我们能看到，当$f^{\prime }(x)=y$时得到极值。

参看博客以及计算示例
矩阵的共轭函数计算示例

共轭函数的性质

1. 共轭函数一定是凸函数
2. 凸函数的共轭函数的共轭函数是其本身

6. Fenchel不等式

根据共轭函数的定义我们知道，$f^{\ast }(y)$是对于$<y,x>-f(x)$的上确界，则一定有：
$$f^{\ast }(y)\ge <y,x>-f(x)$$
则有
$$f(x)+f^{\ast }(y)\ge <y,x>$$

7. 凸优化问题

在优化问题中，凸优化问题有以下集中形式：

1. 对于一个含约束的优化问题
   $$\begin{gathered} \underset{x}{\min }f(x) \\ s.t.x\in C \end{gathered}$$
   其中，$f(x)$是一个凸函数，变量$x$的可行域$C$是一个凸集，该问题就是一个凸优化问题。
2. 对于一个含不等式约束的优化问题
   $$\begin{gathered} \underset{x}{\min }f(x) \\ s.t.h_i(x)=0 \\ s.t.g_i(x)\le 0 \end{gathered}$$
   其中，$f(x)$是一个凸函数，$g_i(x)$是凸函数，$h_i(x)$是仿射函数（这样的要求是为了保证可行域是一个凸集），该问题就是一个凸优化问题。
   凸优化问题对于约束条件的要求

8. 拉格朗日乘子法

在数学中的最优化问题中，拉格朗日乘数法是一种寻求多元函数在其变量受到一个或多个等式约束条件时的极值的方法，即

$$\begin{gathered} x^{\ast }=\arg \underset{x}{\min }f(x) \\ subjectto{g}_i(x)=0,\forall i=1,2,\dots ,k \end{gathered}$$

这种方法可以将一个有$n$个变量与$k$个约束条件的最优化问题转换为一个解有$n+k$个变量的方程组的解的问题。

这种方法中引入了一个或一组新的未知数，即拉格朗日乘数，又称拉格朗日乘子，他们是转换后的方程，即约束方程中作为梯度的线性组合中各个向量的系数。

比如，求$f(x,y)$在$g(x,y)=0$是的最大值是，我们引入新的变量拉格朗日乘数$\lambda$，这时我们只需要求解下列拉格朗日函数的取得极值时的$\lambda$即可得到所需的函数极值。

$$L(x,y,\lambda )=f(x,y)+\lambda (g(x,y))$$

更一般地，对于含有$n$个变量和$k$个约束的情况，有：
$$L(x_1,\dots ,x_n,{\lambda }_1,\dots ,{\lambda }_k)=f(x_1,\dots ,x_n)-\sum _{i=1}^k{\lambda }_i(g_i(x_1,\dots ,x_n))$$
通过求导计算
$$\nabla L(x_1,\dots ,x_n,{\lambda }_1,\dots ,{\lambda }_k)=0$$
得到方程组，解方程组即可求得多组满足约束的点，将各个解带入原方程$f(x_1,\dots ,x_n)$，其中最大（小）的值即为所求的在满足约束情况下的极值。

为什么这样做可以求得最优化解？

如图所示，当满足约束条件$g(x,y)=0$时，只有满足的这一点与$f(x,y)$的等高线相切，才可能是极值。因为如果只是相交的话，那必定在该点的两侧中，有其他的点，使得$f(x,y)$取值更大。

通过上述，可将问题转化为：

找到$g(x,y)=0$上的一点，这一点$g(x,y)=0$和$f(x,y)=d$的梯度共线。
可将这句话拆分成三个条件
$$\begin{gathered} g(x,y)=0 \\ \frac{\partial f(x,y)}{\partial x}=\lambda \frac{\partial g(x,y)}{\partial x} \\ \frac{\partial f(x,y)}{\partial y}=\lambda \frac{\partial g(x,y)}{\partial y} \end{gathered}$$
这三个式子其实就是按照拉格朗日乘子法构建的新函数的梯度等于零时的方程组：
$$\nabla L(x,y,\lambda )=0$$

例子 1

例子 2

凸优化中为什么要用到拉格朗日乘子法？

对于普通的优化问题，我们可以直接使用求导来计算函数的极小值。

但是，当有几个约束条件之后，原函数是什么样子，我们很难搞清楚了。即使通过使用消元法，有时往往也难以求解。

这时，使用拉格朗日乘子法，能够较为方便的求解函数的极值。

9. KKT条件

上面的拉格朗日乘子法能够解决在有等式约束条件下的最优化求值问题。Karush-Kuhn-Tucker(KKT)条件将拉格朗日乘子法扩展到了有不等式约束条件下时的最优化求值问题。

问题用数学公式表示为：
$$\begin{gathered} x^{\ast }=\arg \underset{x}{\min }f(x) \\ subjectto{h}_i(x)=0,\forall i=1,2,\dots ,m \\ subjectto{g}_i(x)\le 0,\forall i=1,2,\dots ,n \end{gathered}$$

这里，我们一般求解最优化问题的时候，并不在意最大值和最小值的值是多少，而是极值点的是什么，因此上述问题中用$x^{\ast }=\arg {\min }_{x}f(x)$来表示问题。

同样的，为了求解在有$m$个等式约束$h_i(x)$和$n$个不等式约束$g_i(x)$的情况下$f(x)$的最优解。我们将问题转换成 ：

把损失函数和约束条件放到同一个最小化问题中，在等式约束前乘以拉格朗日乘数${\lambda }_i$，在不等式约束前乘以KKT乘数${\mu }_i$，从而得到如下最优化问题 (generalized lagrange function)：

$$x^{\ast }=\arg \underset{x}{\min }L(x,\lambda ,\mu )=\arg \underset{x}{\min }f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{i=1}^n{\mu }_i{g}_i(x)$$

针对上述最优化问题，该如何求解呢？

1. 通过对$x$求梯度，我们能够得到对应$x$中变量个数的方程
2. 对于等式约束，求关于拉格朗日乘数的偏导等于0，可以得到$m$个方程，这些方程使得解$x$满足这些等式约束条件。
3. 对于不等式约束，有两种情况：
   1）极值点在不等式约束范围内，即$g_i(x^{\ast })<0$，那么该约束对于极值的选择没有约束作用，我们可以将其对应的KKT乘数${\mu }_i=0$。
   2）极值点在不等式约束的边上，即$g_i(x^{\ast })=0$，那么该约束就变成了与拉格朗日乘数相同的情况。
   以上两种情况，都对应了方程${\mu }_i{g}_i(x)=0$，因此，其对于新构建的方程的求解是必须的，则可以作为KKT条件之一，并得到$n$个方程
   
4. 对于${\mu }_i{g}_i(x)=0$中的${\mu }_i$，并不想${\lambda }_i$一样可以取任意值。因为当${\mu }_i$不为0的时候，根据$f(x)和g(x)$的梯度，我们能得到${\mu }_i>0$。（为什么梯度${\nabla }_{x}f(x)和梯度{\nabla }_{x}g(x)$一定是相反的呢？首先，梯度的定义是指向函数增速最快的方向，通过下图我们能够看到，${\nabla }_{x}f(x)$是垂直于等高线向上的，而${\nabla }_{x}g(x)$垂直于等高线向下的（因为函数里面小于0，线上等于0，则梯度肯定是向外侧的），又因为两线相切，切线相同，则两个梯度方向相反，所以${\mu }_i$根据下列公式为正数）
   

根据上述阐述，我们能够总结出KKT条件：

1. Stationarity
   $${\nabla }_{x}f(x)+\sum _{i=1}^m{\nabla }_x{\lambda }_i{h}_i(x)+\sum _{i=1}^n{\nabla }_x{\mu }_i{g}_i(x)=0(mimimization)$$
   $${\nabla }_{x}f(x)+\sum _{i=1}^m{\nabla }_x{\lambda }_i{h}_i(x)-\sum _{i=1}^n{\nabla }_x{\mu }_i{g}_i(x)=0(maximization)$$
   对于求解最大值问题，上图中${\nabla }_{x}f(x)$方向就会反向，从而导致${\mu }_i\le 0$，为了保持下列第3条件中${\mu }_i\ge 0$的条件，所以在此将其之前的符号变为负号。条件2中的最后一项不受影响是因为求关于$\lambda$的梯度，该项均为0，所以无所谓。
2. Equality constraints
   $${\nabla }_{\lambda }f(x)+\sum _{i=1}^m{\nabla }_{\lambda }{\lambda }_i{h}_i(x)+\sum _{i=1}^n{\nabla }_{\lambda }{\mu }_i{g}_i(x)=0$$
3. Inequality constraints a.k.a. complementary slackness condition
   $${\mu }_i{g}_i(x)=0,\forall i=1,2,\dots ,n$$
   $${\mu }_i\ge 0,\forall i=1,2,\dots ,n$$

值得注意的是，KKT条件和极值之间并不是总是充分必要条件

1. 当对原函数$f(x)$没有约束的时候，即不一定是凸函数的时候，KKT为必要条件，即：若点$x^{\ast }$是函数$f(x)$在条件约束下的极值，那么$x^{\ast }$满足KKT条件。
2. 当$f(x)和g_i(x)$是连续可微且是凸函数，$h_i(x)$是线性（仿射函数）时，KKT为充分必要条件，即除了若点$x^{\ast }$是函数$f(x)$在条件约束下的极值，那么$x^{\ast }$满足KKT条件，还有若点$x^{\ast }$满足KKT条件，则点$x^{\ast }$是$f(x)$在约束条件下的极值点。

KKT条件解释

10. 拉格朗日对偶（Lagrange duality）

通过上面关于拉格朗日乘子法和KKT条件阐述，我们了解了如何面对含有约束条件的最优化问题。其核心思想为，将约束条件通过拉格朗日乘数和KKT乘数添加到最优化问题当中，从而形成一个没有约束条件的最优化问题。

然而，有时候我们用拉格朗日乘子法将原问题转化后，根据KKT条件得到的多个方程联立的方程组还是不好求解。那该怎么办呢？当原问题在满足某些条件的前提下，我们可以将原问题（primary）转换成其对应的对偶问题（duality），通过求解对偶问题，得到原问题的解。下面来解释如何应用对偶来简化最优化过程。

10.1 原始问题

同样的，与KKT条件使用的情况一下，这里我们的原始问题是包含等式约束和不等式约束的最优化问题，公式如下：
$$\begin{gathered} x^{\ast }=\arg \underset{x}{\min }f(x) \\ subjectto{h}_i(x)=0,\forall i=1,2,\dots ,m \\ subjectto{g}_i(x)\le 0,\forall i=1,2,\dots ,n \end{gathered}$$
我们将该问题称之为约束最优化问题的原始问题。

10.2 广义拉格朗日乘子法转化后的原始问题再转化

通过使用拉格朗日乘子法将原始问题转换成拉格朗日函数：

$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{i=1}^n{\mu }_i{g}_i(x)\text{\hspace{1em}(10.1)}$$

我们将对该函数求极值，来得到原始函数的最优化解。通常情况下，可以根据KKT条件（其中一个条件为${\mu }_i\ge 0,\forall i=1,2,\dots ,n$），来构建方程组，从而解得我们需要的极值点，然后带入到原始方程$f(x)$来选择我们先要的最大值或者最小值。

但是在这里，我们选择进行一种新的变换，来构建原始函数的对偶函数，通过求解对偶函数来得到原始函数的最优解。

首先，我们将$L(x,\lambda ,\mu )$看做是关于$\lambda ,\mu$的函数，我们要求其最大值，即：
$$\underset{\lambda ,\mu :{\mu }_i\ge 0}{\max }L(x,\lambda ,\mu )\text{\hspace{1em}(10.2)}$$
在这里，着重强调一下是关于$\lambda ,\mu$的函数，在求解该方程的时候，将$x$视为常量，在确定了$\lambda ,\mu$之后，函数将变成只与$x$有关的函数，我们将该函数定义为：
$${\theta }_P(x)=\underset{\lambda ,\mu :{\mu }_i\ge 0}{\max }L(x,\lambda ,\mu )\text{\hspace{1em}(10.3)}$$

针对这个函数，我们来根据x是不是满足约束条件来分析一下：

• $x$不满足约束条件，即：
  $h_i(x)̸=0$时，${\lambda }_i\to +\infty 或(-\infty )$；$g_i(x)>0$时，${\mu }_i\to +\infty$时，${\theta }_P(x)$的最大值为$+\infty$
• $x$满足约束条件，很明显函数可以将${\mu }_i=0$，从而转换为$f(x)$（注意，在这里我们将$f(x)$视为常量，那么其最大值即为本身）

因此，通过以上的分析，我们能够将${\theta }_p(x)$写成如下形式：
$${\theta }_P(x)=\{\begin{array}{l}f(x),x满足原始问题约束\\ +\infty ,others\end{array}\text{\hspace{1em}(10.4)}$$

那么当$x$在满足约束条件时，我们如果求：
$$\underset{x}{\min }{\theta }_P(x)$$
其实就是在求$x$在满足约束条件时：
$$\underset{x}{\min }f(x)$$
(因为在满足约束条件的时候${\theta }_p(x)=f(x)$，见式10.4)

从而有下列等式：
$$\begin{gathered} \underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\lambda ,\mu :{\mu }_i\ge 0}{\max }L(x,\lambda ,\mu )=\underset{x}{\min }f(x) \\ subjetto{h}_i(x)=0,\forall i=1,\dots ,m \\ subjectto{g}_i(x)\le 0,\forall i=1,\dots ,n\text{\hspace{1em}(9.5)} \end{gathered}$$

大白话就是说，我们转换来的${\theta }_p(x)和f(x)$在求$x$满足约束条件时的最小值时，是等价的。

这里我们设在$x$满足约束条件时：
$$p^{\ast }=\underset{x}{\min }{\theta }_P(x)$$

至此，我们通过一种转换，将用拉格朗日函数形式表示的原始问题，转换到了由两个最优化问题表示的全新形式。该形式将通过进一步的转换得到其对偶函数，从而简化最优化问题求解。

10.3 对偶问题

上面我们对原始问题进行了一系列的转换，最终变成了9.5式那样的模样。然而，进行转换后，该最优化问题依然可能存在不好求的问题。那么又要想办法换一种形式，来求解这个最优化问题了。

仿照式10.3，我们定义关于$\lambda ,\mu$的函数：
$$\underset{x}{\min }L(x,\lambda ,\mu )\text{\hspace{1em}(10.6)}$$
此函数是关于$x$的函数，在求解最小化过程中，应将$\lambda ,\mu$视为常数，当$x$确定后，则变成了关于变量$\lambda ,\mu$的函数：

$${\theta }_D(\lambda ,\mu )=\underset{x}{\min }L(x,\lambda ,\mu )\text{\hspace{1em}(10.7)}$$

得到${\theta }_D(\lambda ,\mu )$之后考虑将其极大化，即：
$$\underset{\lambda ,\mu :{\mu }_i\ge 0}{\max }{\theta }_D(\lambda ,\mu )=\underset{\lambda ,\mu :{\mu }_i\ge 0}{\max }\underset{x}{\min }L(x,\lambda ,\mu )\text{\hspace{1em}(10.8)}$$

对比式10.8和式10.5我们能够看到，两者在形式上很对称，只不过最优化的顺序不同而已。我们将式10.8称为原始问题的对偶问题。

同样的，设对偶问题的最优值：
$$d^{\ast }=\underset{\lambda ,\mu :{\mu }_i\ge 0}{\max }{\theta }_D(\lambda ,\mu )$$

10.4 对偶问题与原始问题的关系

定理：若原始问题和对偶问题都有最优值，则：
$$d^{\ast }=\underset{\lambda ,\mu :{\mu }_i\ge 0}{\max }\underset{x}{\min }L(x,\lambda ,\mu )\le \underset{x}{\min }\underset{\lambda ,\mu :{\mu }_i\ge 0}{\max }L(x,\lambda ,\mu )=p^{\ast }\text{\hspace{1em}(10.9)}$$
证明：
记$p^{\ast }$为原始问题的最优解，对应最优解的最优变量取值为$x^{\ast }$，有$p^{\ast }=f(x^{\ast })$;
记$d^{\ast }$为对偶问题的最优解，对应最优解的最优变量取值为${\lambda }^{\ast },{\mu }^{\ast }$，有$d^{\ast }={\theta }_D({\lambda }^{\ast },{\mu }^{\ast })$;

对于任意的$\lambda ,\mu$，有：
$${\theta }_D(\lambda ,\mu )=\underset{x}{\min }L(x,\lambda ,\mu )\le L(x^{\ast },\lambda ,\mu )=f(x^{\ast })+\sum _{i=1}^m{\lambda }_i{h}_i(x^{\ast })+\sum _{i=1}^n{\mu }_i{g}_i(x^{\ast })\le f(x^{\ast })=p^{\ast }$$

该式中第二个等号成立是因为$x^{\ast }$是一个可行解，所以约束条件$g_i(x)\le 0$和$h_i(x)=0$满足，所以${\sum }_{i=1}^m{\lambda }_i{h}_i(x^{\ast })=0,{\sum }_{i=1}^n{\mu }_i{g}_i(x^{\ast })\le 0$。

由于以上推导是对于任意的$\lambda ,\mu$，所以$d^{\ast }={\theta }_D({\lambda }^{\ast },{\mu }^{\ast })\le p^{\ast }$

该定理说明：原始问题的最小值不小于对偶问题的最大值，这一定理对于原始问题和对偶问题是否是凸优化问题并没有限制。是普遍成立的。

推论：设$x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }$分别是原始问题和对偶问题的可行解，由于式10.9我们知道，$x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }$分别是原始问题和对偶问题的最优解。

通常，对偶问题相对于原问题有比较好的形式（有看到“无论原问题形式如何，对偶问题都是一个凸优化问题”的说法，但没见过证明。），这样，当原问题不好求解时，可以转而求解对偶问题。问题是一般情况下有$d^{\ast }\le p^{\ast }$，所以求解对偶问题只能得到原始问题的下届，不能保证$d^{\ast }=p^{\ast }$

但是我们想要通过对偶问题来求解原始问题，必须要使得原始问题的最小值和对偶问题的最大值点相等才行。

所以，当原始问题满足某些条件时，可以保证$d^{\ast }=p^{\ast }$

Slater条件对于原始函数和对偶函数的影响

定义：对于原始问题及其对偶问题，假设函数$f(x)$和$g_i(x)$是凸函数，$h_i(x)$是仿射函数，且不等式约束$g_i(x)$是严格可行的，即存在一个$x$，使得不等式约束$g_i(x)<0,\forall i=1,\dots ,m$，则存在$x^{\ast }$是原始问题的解,${\lambda }^{\ast },{\mu }^{\ast }$是对偶问题的解，并使得$d^{\ast }=p^{\ast }$。

也就是说如果原始问题是凸优化问题并且满足 Slater 条件的话，那么强对偶性成立。需要注意的是，这里只是指出了强对偶成立的一种情况，并不是唯一的情况。

KKT条件对于原始函数和对偶函数的影响

上面我们专门讲KKT条件的时候，没有考虑对偶问题的存在。现在我们看看在同时考虑原始问题和对偶问题时，KKT条件是怎样影响的。

对于一般的最优化问题，KKT条件是原始问题和对偶问题等价的必要条件，即当$d^{\ast }=p^{\ast }$时，最优值结果$x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }$满足KKT条件。下面证明由强对偶关系推导出KKT条件。

由强对偶推导出KKT条件：
考虑一般情况下（不一定是凸优化），如果有$d^{\ast }=p^{\ast }$，对应的点为$x^{\ast },{\lambda }^{\ast },{\mu }^{\ast },$则：
$$d^{\ast }={\theta }_D({\lambda }^{\ast },{\mu }^{\ast })=\underset{x}{\min }L(x,{\lambda }^{\ast },{\mu }^{\ast })\le L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=f(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }{h}_i(x^{\ast })+\sum _{i=1}^n{\mu }_i^{\ast }{g}_i(x^{\ast })\le f(x^{\ast })=p^{\ast }$$

由于$d^{\ast }=p^{\ast }$，所以公式中的$\le$都应该取等号，则有：

• ${\min }_{x}L(x,{\lambda }^{\ast },{\theta }^{\ast })=L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })$说明$x^{\ast }$是$L(x,{\lambda }^{\ast },{\mu }^{\ast })$的一个极值点，所以$L(x,{\lambda }^{\ast },{\mu }^{\ast })$在$x^{\ast }$处的偏导为0，即$\frac{\partial L(x,{\lambda }^{\ast },{\mu }^{\ast })}{\partial x}{|}_{x^{\ast }}=0$
• $f(x^{\ast })+{\sum }_{i=1}^m{\lambda }_i^{\ast }{h}_i(x^{\ast })+{\sum }_{i=1}^n{\mu }_i^{\ast }{g}_i(x^{\ast })=f(x^{\ast })$，由于$x^{\ast }$是满足约束条件的，因此根据约束条件有
  1）$h_i(x^{\ast })=0,\forall i=1,\dots ,m$，从而${\sum }_{i=1}^m{\lambda }_i^{\ast }{h}_i(x^{\ast })=0$；
  2）$g_i(x^{\ast })\le 0,{\mu }_i^{\ast }\ge 0$，但是由于条件1），我们得到${\sum }_{i=1}^n{\mu }_i^{\ast }{g}_i(x^{\ast })=0$，所以，如果某个$g_i(x^{\ast })<0$且${\mu }_i^{\ast }>0$，则该项为负数，根据取值范围我们知道，${\mu }_i^{\ast }{g}_i(x^{\ast })是\le 0$的，因此为了保证${\sum }_{i=1}^n{\mu }_i^{\ast }{g}_i(x^{\ast })=0$，必须求和中的每一项都为零，即${\mu }_i^{\ast }{g}_i(x^{\ast })=0,\forall i=1,\dots ,n$

通过整理以上条件，我们能得到：
$$\{\begin{array}{l}\frac{\partial L(x,{\lambda }^{\ast },{\mu }^{\ast })}{\partial x}{|}_{x^{\ast }}=0\\ h_i(x^{\ast })=0,\forall i=1,\dots ,m\\ g_i(x^{\ast })\le 0,\forall i=1,\dots ,n\\ {\mu }_i^{\ast }{g}_i(x^{\ast })=0,\forall i=1,\dots ,n\\ {\mu }_i^{\ast }\ge 0,\forall i=1,\dots ,n\end{array}$$

上面方程组其实就是KKT条件，也就是说任何强对偶问题（不一定通过Slater条件推出），KKT条件都是$d^{\ast }=p^{\ast }$的必要条件。

但是，如果原始问题是凸优化问题是，那么KKT条件就升级为充要条件。 也就是说只要找到$x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }$满足KKT条件，那么原始问题和对偶问题就有相同的解，分别在$x^{\ast }$和$({\lambda }^{\ast },{\mu }^{\ast })$处取得。

定义： 对于原始问题及其对偶问题，假设函数$f(x)$和$g_i(x)$是凸函数，$h_i(x)$是仿射函数，且不等式约束$g_i(x)$是严格可行的，即存在一个$x$，使得不等式约束$g_i(x)<0,\forall i=1,\dots ,m$，则存在$x^{\ast }$是原始问题的解,${\lambda }^{\ast },{\mu }^{\ast }$是对偶问题的解，并使得$d^{\ast }=p^{\ast }$的充要条件是$x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }$满足KKT条件。

Slater条件、KKT条件与强对偶关系

10.5 总结

对于有约束的凸优化问题，我们可以用广义拉格朗日乘子法将约束条件拉入到最优化函数中从而转化为无约束问题，如果该原始问题求解棘手，在满足KKT条件下，可以通过求解对偶问题的解来代替原始问题，使得求解更加容易。

参考资料1
参考资料2
参考资料3