凸优化——详解对偶和鞍点

对偶

原问题的最优解（最小解）$p^{\ast }$一定是大于等于其对偶问题的最优解（最大值）$d^{\ast }$的：
$p^{\ast }>=d^{\ast }$
这是对偶问题最重要的一条性质

弱对偶

满足$p^{\ast }>=d^{\ast }$，这就是弱对偶性，无论原函数是不是凸的，只要有解就一定满足前述不等式，也就是说一定都是弱对偶的。

强对偶

如果一个问题$p^{\ast }=d^{\ast }$，那原问题和对偶问题就是强对偶的。也就是最优对偶间隙$p^{\ast }-d^{\ast }$为0；（）

相对内部

数学家总是把很简单的问题复杂化。其实你了解含义之后再读公式就不复杂了，两个公式唯一区别就是不等号是严格成立还是非严格，也就是说相对可行内点集就是去掉边界的可行集。（“相对内部”这个概念还有另一种牵涉到仿射包和圆的解释，就不介绍了）
强对偶一般情况下都是成立的，不过作为数学推导，你还是需要用斯莱特条件去验证一下

我们最想要的一定是强对偶情况，因为这样我们就可以把原问题最优解改为求对偶问题的最优解。所以最重要的问题就变成了什么问题是强对偶问题???

slater条件or约束：

要使用Slater条件的先决条件是原问题必须是凸问题（凸的目标函数和不等式约束+仿射的等式约束），然后，Slater条件如下：

1. 满足等式约束
2. 满足不等式约束但除去等号（注意：这里是把约束增强了）
   也就是$x\in relint(D)$，
   有些问题反过来想可能比较容易想出来，什么是不满足slater条件的凸问题？就是凸问题如果把它不等式约束换成绝对不等式，定义域就是空集了

满足Slater条件的凸问题==>强对偶成立，该问题对偶问题最优解等于原问题最优解。

看到一个新的定义、定理，我们来反思一下它是什么意思，
看着好像很复杂，但其实很容易对吧，其实就是给不等式条件剥了层皮！

注意等号是单向的，反过来未必成立。也就是一般问题、非凸问题也可能是强对偶问题，凸问题，不满足这些条件也可能强对偶成立。

//
//
上面的暂且称为严格的Slater条件，因为对不等式的要求是严格成立，下面介绍改进的，也是放宽松的Slater约束：
我还是喜欢用文字描述，否则跟数学书没区别了。
不等式约束中有些是仿射函数，这些仿射函数我们就不要求它严格遵守不等式了，他们的不等式被允许带等号。这就成为了宽松的Slater条件。**也就是Slater条件主要约束了不等式约束中非仿射/线性的那部分约束。**当问题只有线性/仿射不等式约束那Slater约束对这个问题就没意义了。

例子

书里介绍两个例子，证明过程看着都十分十分痛苦。直接给结论：
原问题是：

1. 线性规划：无论是标准形式还是不等式形式，只要原问题可行，强对偶一定成立，所以遇到线性规划不容易求我们求其对偶问题也可以。‘
2. QCQP 问题：即二次约束二次 规划问题，当二次约束严格成立时，强对偶成立。

几何解释

经济学解释

原问题的解释

$minimize{f}_0(x$