我们考虑只有一个不等式约束的优化问题:
则问题的最优值可表示为:
这种最优值的表示方法不利于理解对偶性,因此定义一个集合:
是一个由所有在定义域内的 所对应的函数值所构成点的集合,利用这个集合可以重写原式最优解为:
其中 表示原式的
的点集,
表示
的点集,在有定义的点集内取一个最小的
对应于原问题最优值的描述,因为要求的就是
。
现在假设 在 二维空间的图像如下图所示,并在图中作出了
对应的位置。
先写出拉格朗日公式:
用刚才点集形式来表示就是:
所以拉格朗日对偶函数为:
将直线: 绘制在之前得到的
平面中,如下图所示:
首先,这里的 ,而且我们发现 :
,
就是拉格朗日函数,上图中直线过点集的一个极小点,所以就是:
,也就是
是对偶函数。
我们先是要找到一个 ,
在可行域范围内进行上下移动,使得 最小(就是最小化拉格朗日函数
),这里需要满足:
,就直线过
就可以,所以先列出两种情况:
可以容易地得出斜率比较大和斜率比较小时, 可行域内最小 就是与 的两个“凸出”边缘相切的时候。
到这里有一种情况已经呼之欲出了,没错,就是直线刚好与 “凸出”的两个边缘同时相切的时候。现在讲三种情况都绘制在同一张图上,如下图:
我们要从一簇 中找出一个最大的这个任务也完成了,很显然就是图中的
,这就是对偶最优。
可以从图中看出,在这个 下是弱对偶性,绿色那段代表的即是最优对偶间隙
。
如何不出现绿色区域,使得
:
我们上面给出的 显然是一个非凸集,现在将
更换为一个凸集,如下图:
很显然,在 是是凸集的情况下,最优对偶间隙为
,成为强对偶。
问题:只有是凸集才满足强对偶吗?
答案当然是否定的,我们随便可以给出一个反例,比如下图这个丑丑的爪子状的东西是个非凸集,但是最优对偶间隙还是 ,因此我们可以得出结论:
是凸集是强对偶的充分非必要条件。这就是有名的Slater条件了。
至于强对偶的充分必要条件究竟是什么,这就涉及到另外一个更加有名的KKT条件了。