UA SIE545 优化理论基础4 对偶理论简介3 强对偶

上一讲介绍了弱对偶，弱对偶满足
inf ⁡ { f ( x ) : x ∈ X , g ( x ) ≤ 0 , h ( x ) = 0 } ≥ sup ⁡ { θ ( u , v ) : u ≥ 0 } \inf\{f(x):x \in X,g(x) \le 0,h(x)=0\} \ge \sup\{\theta(u,v):u \ge 0\} inf{ f(x):x∈X,g(x)≤0,h(x)=0}≥sup{ θ(u,v):u≥0}

如果这个式子取等，那就是强对偶，原问题与对偶问题的最优值相等。相比弱对偶，我们肯定是更希望有强对偶的，这一讲我们讨论什么样的优化问题，它的Lagrange对偶是强对偶。

---

Strong Duality Theorem
假设$X$是非空凸集，$f,g$是凸函数，$h(x)$是仿射函数(或者可以写成$h(x)=Ax-b$的形式)，使得下面的条件成立：
$$\exists \hat{x}\in X,g(\hat{x})<0,h(\hat{x})=0,0\in inth(X)$$则下面的结论成立
inf ⁡ { f ( x ) : x ∈ X , g ( x ) ≤ 0 , h ( x ) = 0 } = sup ⁡ { θ ( u , v ) : u ≥ 0 } \inf\{f(x):x \in X,g(x) \le 0,h(x)=0\} =\sup\{\theta(u,v):u \ge 0\} inf{ f(x):x∈X,g(x)≤0,h(x)=0}=sup{ θ(u,v):u≥0}

另外，如果 inf ⁡ { f ( x ) : x ∈ X , g ( x ) ≤ 0 , h ( x ) = 0 } < ∞ \inf\{f(x):x \in X,g(x) \le 0,h(x)=0\}<\infty inf{ f(x):x∈X,g(x)≤0,h(x)=0}<∞，并且$\bar{x}$和$\bar{u},\bar{v}$分别为原问题与对偶问题的最优解，则
$${\bar{u}}^{T}g(\bar{x})=0$$

这一讲我们先完成这个定理的证明，之后再讨论强对偶的实际应用。

---

在正式证明这个定理之前，我们先介绍一个非常重要的Farkas定理类型的引理，这个引理将提供强对偶定理的证明框架。

引理 假设$X$是一个非空凸集，$\alpha ,g$是两个凸函数，$h$是一个仿射函数，如果System 1无解，则System 2有解。

System 1：$\alpha (x)<0,g(x)\le 0,h(x)=0,\exists x\in X$
System 2: $u_0\alpha (x)+u^{T}g(x)+v^{T}h(x)\ge 0,\forall x$