【凸优化】Language对偶函数，Language对偶问题，强对偶性，弱对偶性，Slater约束准则（本质剖析）-CSDN博客

本文链接：https://blog.csdn.net/m0_56997192/article/details/143434024

本文全篇红字。

一、Language函数

对于优化问题（1.1）：

$\underset{x}{min}f_{0}(x)$

$subject$ $to$ $g_{i}(x)\leq 0$ , $i=1,\cdot \cdot \cdot ,m$

令其最优解为 $p^{*}$

由于等式约束范围是一个仿射空间，比较大，不等式约束的范围可以是有限的集合，可讨论性比较大，这里问题（1.1）只考虑不等式约束。

以二维为例，目标函数和约束函数的图像如图：

绿色的为目标函数，红色的为约束函数，不等式约束范围为两条竖线 $l_{1}$ 和 $l_{2}$ 之间

Language函数为：

$L(x,\lambda )=f_{0}(x)+\lambda f_{1}(x)$

Language函数的图像如图中黑色的图像：

其中 $\lambda$ 从0到2变化。

二、Language对偶函数

Language对偶函数为：

$g(\lambda )=\underset{x}{inf}L(x,\lambda )$

如上图在Language图像中，当 $\lambda$ 取值从0到2变化过程中，Language对偶函数的值先变大，后变小。

三、Language对偶问题

优化问题（1.1）的对偶问题是：

$\underset{x}{max}g(\lambda )$

$subject$ $to$ $\lambda \succeq 0$ （3.1）

令其在 $\lambda ^{*}$ 处为最优解为 $d^{*}$

由图可知，

$\lambda$ 等0时，约束范围内的最小值 $p^{*}$ 当然大于等于全局最小值 $g(\lambda ,\nu )$

$\lambda$ 大于0时，约束范围内的最小值会更小，所以约束范围内的最小值会比原 $\lambda$ 等0时约束范围内的最小值更小，全局最小值又小于等于约束范围内的最小值，所以这种情况下全局最小值 $g(\lambda ,\nu )$ 小于 $p^{*}$ 。

四、强对偶性和弱对偶性

原问题（1.1）的最优解是直线 $l_{1}$ 与目标函数的交点 $p^{*}$ 。

观察（1.1）的对偶问题， $g(\lambda )$ 的最大值是多少呢，由图可以看出， $l_{1}$ 左侧在逐渐变大，右侧在逐渐减小， $g(\lambda )$ 的值（ $\lambda$ 一定，在x上的最小值）原来在 $l_{1}$ 左侧逐渐变大，后变到 $l_{1}$ 右侧逐渐变小，所以 $g(\lambda )$ 的最大值在 $l_{1}$ 附近，但具体是不是 $g(\lambda )$ 与 $l_{1}$ 的交点由原问题目标函数和约束函数决定。

下图这种情况为 $g(\lambda )$ 的最大值不是 $g(\lambda )$ 与 $l_{1}$ 的交点

这幅图与原图的区别是，在 $l_{1}$ 左侧约束函数函数值不太大，而在 $l_{1}$ 和 $l_{2}$ 之间函数值很小，即可能随着 $\lambda$ 的增大， $l_{1}$ 左侧Language函数最小值还没超过 $p^{*}$ 时， $l_{1}$ 右侧Language函数最小值已经比 $l_{1}$ 左侧Language函数最小值还要小，也就是全局Language函数最小值从 $l_{1}$ 的左侧跳到了 $l_{1}$ 的右侧，即Language函数最小值（ $\lambda$ 固定，x上的）的最大值（ $\lambda$ 上的），也就是Language对偶函数的最大值 $d^{*}$ 比Language函数与 $l_{1}$ 的交点 $p^{*}$ 小。这种情况被称为弱对偶性。

反之当 $l_{1}$ 左侧的最小值增大到等于 $p^{*}$ 时， $l_{1}$ 右侧的最小值恰好减小到等于 $p^{*}$ ，这时Language对偶函数的最大值 $d^{*}$ 等于 $p^{*}$ ，这种情况称为强对偶性。

五、Slater约束准则

接（四）中的讨论，当在强对偶性的条件下，解出了原问题的对偶问题的最优解 $d^{*}$ ，即是原问题的最优解 $p^{*}$ ，在弱对偶情况下，即使解除了对偶问题的最优解 $d^{*}$ ，也无法得到原问题准确的最优解 $p^{*}$ ，这种情况下只能确定对偶问题的最优解比原问题的最优解小，即得到了原问题的下界。

原问题符合哪些条件时，它与对偶问题有强对偶性呢？

条件一

原问题是凸问题，即目标函数是凸函数，不等式约束函数是凸函数，等式约束函数是仿射函数。

在这种情况下，强对偶性通常成立，但不总是成立。

其他条件

除了凸条件外，还需要满足一些强对偶条件，这些条件称为约束准则，一个简单的约束准则是Slater约束准则。

如下：

存在一点 $x$ $\epsilon$ $relint$ $D$ 使得式 $f_{i}(x)< 0$ 成立，即不等式约束严格成立。

注：（1）集合 $D$ 是Language函数的定义域，即

（2） $relint$ $D$ 表示集合D的内点集，即不包括边界。

弱化的Slater约束准则

简言之，当约束函数 $f_{i}$ 是仿射函数时，不等式约束不需要严格成立，但当约束函数 $f_{i}$ 不是仿射函数时，不等式约束需要严格成立。称为弱化的Slater约束准则。

几何直观感觉强对偶性的条件

首先需要满足凸条件：如图

红线、蓝线、绿线分别为目标函数、不等式约束函数、Language函数，竖直紫线和竖直黑线之间为不等式约束区域， $\lambda$ 变化范围为0-2，

图中绿线Language函数在各个位置的最小值构成的函数为Language对偶函数 $g(\lambda )$ ，显然有最大值 $d^{*}$ = $p^{*}$ ，下面有凸函数的性质说明理由：

Language函数是在目标函数上加上约束函数乘以权重 $\lambda$ ，显然目标函数从最优点（图中红线与竖直紫线的交点）向左侧减小的速度比较缓，而从最优点向右增加的速度比较快；对于约束函数（蓝线），从紫线位置向左增大的很快，而向右减小的很慢，所有，紫线左侧极小值增大的速度比右侧极小值减小的速度快，即左侧极小值超过最优点不会比右侧最小值低于最优点的时间靠前，中间一定会有最优点那个点成为Language函数最小值的一刻，所以有 $d^{*}$ = $p^{*}$ ，强对偶性成立。

下面举一个是凸问题，但不符合Slater准则且不是强对偶的例子。