拉格朗日及其对偶性

(读李航老师的《统计学习方法》总结摘录一些内容)

原始问题与拉格朗日函数

假设$f(x),c_i(x),h_j(x)$是定义在${\mathbf{R}}^n$上的连续可微函数。对于一个约束最优化问题：
$$\begin{gathered} minf\left(x\right) \\ s.t.c_i(x)⩽0，i=1,2,...,k \\ {h}_j=0,i=1,2,...,l\text{\hspace{1em}(1)} \end{gathered}$$
首先引入拉格朗日函数：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{a}_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)\text{\hspace{1em}(2)}$$
这里$x=(x_{(1)},x_{(2)},...,x(n){)}^T\in {\mathbf{R}}^n,{\alpha }_i,{\beta }_j$是拉格朗日乘子，其中${\alpha }_i⩾0$.考虑x的函数：
$${\theta }_p(x)=\underset{\alpha ,\beta :\alpha ⩾0}{\max }L(x,\alpha ,\beta )\text{\hspace{1em}(3)}$$

分两种情况分析问题(3):

1. 对于${\theta }_p$问题，如果给定某一个x,x违反约束最优化问题（1）中的$g_i(w),h_j(w)$。那么就有：
   $${\theta }_p(x)=\underset{\alpha ,\beta :\alpha ⩾0}{\max }L(x,\alpha ,\beta )=+\infty \text{\hspace{1em}(4)}$$
   这是因为：对于某个违反约束条件的$x_k$,则有$c_k(w)>0,or,h_k(w)!=0$。为了使式（4）成立，有下面两种方法。
   - 如果有$c_k(w)>0$，则可令${\alpha }_i\to +\infty$。使得其他的${\alpha }_i,{\beta }_i=0$。
   - 如果有$h_k(w)!=0$,则可令${\beta }_j\to +\infty$。使得其他的${\alpha }_i,{\beta }_i=0$。
2. 如果所有的x都满足最优化问题（1）的约束条件，可知公式（3）${\theta }_p(x)=f(x)$。
   所以公式（3），就可以转换为：
   $$\{\begin{array}{cc}f(x),& x满足原始问题约束\\ +\infty ,& 其他\end{array}\text{\hspace{1em}(5)}$$

考虑公式（3）的最小化问题

考虑公式（3）的最小化问题有：
$$\underset{x}{\min }{\theta }_p(x)=\underset{x}{\min }\underset{\alpha ,\beta :\alpha ⩾0}{\max }L(x,\alpha ,\beta )\text{\hspace{1em}(6)}$$
问题（4）称为拉格朗日的极小极大问题，它和问题（1）是等价的。这样我们定义原始问题的最优解：
$$p^{\ast }=\underset{x}{\min }{\theta }_p(x)\text{\hspace{1em}(7)}$$

对偶性

定义：
$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )\text{\hspace{1em}(8)}$$
考虑问题（8）的极大问题：
$$\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )\text{\hspace{1em}(9)}$$
问题(9)$\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$被称为广义拉格朗日的极大极小问题：
将其表示为：
$$\begin{gathered} \underset{\alpha ,\beta }{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta ) \\ s.t.{\alpha }_i⩾0,i=1,2,...,k\text{\hspace{1em}(10)} \end{gathered}$$
问题10就是原始问题的对偶问题。定义对偶问题的最优解。
$$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }{\theta }_D(\alpha ,\beta )\text{\hspace{1em}(11)}$$

对偶问题和原始问题的关系

在某些情况下原始问题的解$p^{\ast }$和对偶问题的解$d^{\ast }$相同。

• 考虑原始问题（1）和对偶问题（10）。假设函数$f(x),c_i(x)$是凸函数,$h_j(x)$是仿射函数¹。并且假设不等式约束$c_i$是严格约束，即存在x,对于所有的i有$c_i<0$,则存在$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$,使得$x^i$是原始问题的解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的解。有：
  $$p^{\ast }=d^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })\text{\hspace{1em}(12)}$$
  如果$x^i$是原始问题的解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的解，则$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$必须同时满足满足原始问题和对偶问题的约束，即KTT条件：
  $$\begin{gathered} {▽}_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\alpha }^{\ast }{c}_i(x^{\ast })=0,i=1,2,...,k \\ {c}_i(x^{\ast })\le 0,i=1,2,...,k \\ {a}_i^{\ast }\ge 0,i=1,2,...,k \\ {h}_j(x^{\ast })=0,j=1,2,...,k\text{\hspace{1em}(13)} \end{gathered}$$
  红色的公式称为KTT对偶互补条件。由此件可知：若$a_i^{\ast }>0$,则有$c_i(x^{\ast })=0$

---

1. https://blog.csdn.net/qq_20966795/article/details/86307097 ↩︎