整体理解对偶问题,slater,kkt条件

本文不做严谨的数学推导,只为了帮助小白能对优化问题,对偶问题,拉格朗日,slater,kkt有一个快速的整体把控

0.对偶问题,why?

对于一个优化问题,为什么我们要找它的对偶问题呢?
因为一个优化问题,无论是否为凸,其对偶问题一定为凸优化问题(下面解释)
那么为什么一定要找一个凸优化问题呢?
因为凸优化问题有一些很好的性质,比如
凸优化问题的局部最优解就是全局最优解
凸问题和其对偶问题解相等是kkt的充分必要条件
下面我们来一步步看.

1.给一个标准形式的优化问题

$$\begin{array}{rl}& \min f_0(x)\\ & \text{ s.t. }{f}_i(x)\le 0,i=1,2,\cdots ,m\\ & h_i(x)=0,i=1,2,\cdots ,p\end{array}$$
定义域为$$D=\bigcap _{i=0}^{m}dom{f}_i(x)\bigcap _{i=1}^{p}dom{h}_i(x)$$
我们定义上面这个优化问题的拉格朗日函数为:

2.拉格朗日函数:

$$L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_{(i)}{f}_i(x)+\sum _{i=1}^p{\nu }_{(i)}{h}_i(x)$$

3.拉格朗日对偶函数:

我们再定义这个拉格朗日函数的对偶问题为(inf是下确界的意思):$$g(\lambda ,\nu )=\underset{x\in D}{\inf }L(x,\lambda ,\nu )=\underset{x\in D}{\inf }\left(f_0(x)+\sum _{i=1}^m{\lambda }_{(i)}{f}_i(x)+\sum _{i=1}^p{\nu }_{(i)}{h}_i(x)\right)$$那么对于这个对偶函数,一定有:

4.对偶函数一定是凹的:

对偶函数一定是凹的.
简单的说明为什么
因为对偶函数是一族关于(λ,ν)的仿射函数(仿射函数是凹(且凸)的)的逐点下确界,所以一定是凹的.(注意对偶函数是关于(λ,ν)的,没有x.)

关于"几个凹函数的逐点下确界为凹"的一个大概解释:想象几个凹函数(如a<0的二次函数,如下图,取逐点下界,结果肯定是凹的(虚线))

5.最优值的下界:

对偶函数构成了原问题最优解$p^{\star }$的下界:
$$g(\lambda ,\nu )⩽p^{\star }$$
因为原问题是
$$min{f}_0(x)$$,
对偶函数是
$$\underset{x\in D}{\inf }\left(f_0(x)+\sum _{i=1}^m{\lambda }_{(i)}{f}_i(x)+\sum _{i=1}^p{\nu }_{(i)}{h}_i(x)\right)$$
因为要解可行,则必有
（注意 lambda>=0,因为如果<0,求inf g的时候lamdba直接取负无穷的话就是下界,但是取负无穷作为下界没有任何意义,所以排除)
$$\begin{array}{rl}{f}_i(x)\le 0,& h_i(x)=0,\end{array}$$
即对偶函数的后面两项小于等于0,所以为原问题的下界

6.对偶问题(上面是对偶函数,下面是对偶问题)

为了从对偶函数获得最好的(最逼近的)原问题下界,我们可以得到这样一个优化问题:
$$\begin{array}{ll}\text{ maximize }& g(\lambda ,\nu )\\ \text{ subject to }& \lambda ⪰0\end{array}$$
这个对偶问题一定是一个凸优化的问题,无论原问题是不是.(max g相当于min -g,g为凹,-g为凸,且约束为凸)
对偶问题的最优解记为$b^{\star }$,由上面可知,$$b^{\star }⩽p^{\star }$$即使原问题不是凸问题,依然有上式成立,称为弱对偶性

7.强对偶性

如果$b^{\star }=p^{\star }$,强对偶性成立.
当原问题为凸(目标函数约束函数都为凸,等式约束为仿射),且满足Slater条件时,有$b^{\star }=p^{\star }$,强对偶性成立.
下面来说slater条件

8.slater条件

Slater 条件: 对于凸问题,存在一点 $x\in relint\mathcal{D}$(原问题定义域的相对内部,D见最上面)使得下式成立

$$f_i(x)<0,i=1,\cdots ,m,Ax=b$$注意slater条件是强对偶的充分条件,不是必要

弱slater条件:若不等式约束为仿射,只要可行域不为空,必有$b^{\star }=p^{\star }$

9.kkt条件

目标函数和约束函数可微且强对偶性成立,那么任何一对原问题/对偶问题的最优解一定满足kkt条件

kkt条件:
$$\begin{array}{rl}{f}_i\left(x^{\star }\right)& ⩽0,i=1,\cdots ,m\\ h_i\left(x^{\star }\right)& =0,i=1,\cdots ,p\\ {\lambda }_i^{\star }& ⩾0,i=1,\cdots ,m\\ {\lambda }_i^{\star }{f}_i\left(x^{\star }\right)& =0,i=1,\cdots ,m\\ \nabla f_0\left(x^{\star }\right)+\sum _{i=1}^m{\lambda }_i^{\star }\nabla f_i\left(x^{\star }\right)+\sum _{i=1}^p{\nu }_i^{\star }\nabla h_i\left(x^{\star }\right)=0& \end{array}$$
当原问题是凸问题时，满足 KKT 条件的点也是原、对偶最优解。换言之, 如果函 数 $f_i$是凸函数,$h_i$ 是仿射函数, $\tilde{x},\tilde{\lambda },\tilde{\nu }$ 是任意满足 KKT 条件的点,那么 $\tilde{x}$和 $(\tilde{\lambda },\tilde{\nu })$
分别是原问题和对偶问题的最优解

10.总结

一个优化问题,无论是否为凸,其对偶函数为凹，对偶问题一定为凸优化问题,此时对偶问题的最优解是原问题的下界.当强对偶性成立(slater条件满足),一定满足kkt条件,此时kkt是强队偶的必要条件.当原问题为凸,kkt是原问题的充要条件

参考文献 凸优化,清华大学出版社,Steven Boyd著,王书宁译

extras

1.relint D:D的相对内部
指集合D除去边缘的集合,相当于是一个开集
2.slater条件一般对于凸问题是本身就已经满足的