对偶问题和KKT条件

在求解支持向量机时，我们遇到了求解约束问题
$$\underset{w,b}{\max }\mid \mid w\mid {\mid }^2\text{\hspace{1em}(10)}$$

                             s.t.   $y_i(w^T{x}_i+b)\ge 1$

对偶问题

对于一般的约束优化问题
$$\begin{gathered} \min f(x) \\ s.t.g_i(x)\le 0i=1,2,...,m \\ {\eta }_j(x)=0j=1,2,...,m \end{gathered}$$

拉格朗日函数为
$$L(x,\mu ,\lambda )=f(x)+\sum _{i=1}^m{\mu }_i{g}_i(x)+\sum _{j=1}^m{\lambda }_j{\eta }_j(x)$$

其中$\mu =({\mu }_1,{\mu }_2,...,{\mu }_m{)}^T,\lambda =({\lambda }_1,{\lambda }_2,...,{\lambda }_m{)}^T$为拉格朗日乘子。

定义拉格朗日对偶函数$\Gamma (\mu ,\lambda )$为$L(x,\mu ,\lambda )$关于x的下确界（即最小值），
$$\Gamma (\mu ,\lambda )=\underset{x\in D}{\inf }L(x,\mu ,\lambda )=\underset{x\in D}{\inf }(f(x)+\sum _{i=1}^m{\mu }_i{g}_i(x)+\sum _{j=1}^m{\lambda }_j{\eta }_j(x))$$
其拥有两个性质：

1. 无论上述优化是否为凸优化问题，其对偶函数$\Gamma (\mu ,\lambda )$恒为凸函数，对偶问题为凸优化问题。
2. 当$\mu \ge 0$ 时，$\Gamma (\mu ,\lambda )$构成了上述优化问题最优值$p^{\ast }$的下界

定义在满足$\mu \ge 0$ 这个约束条件下对偶函数最大值的优化问题为拉格朗日对偶问题
$$\begin{gathered} \max \Gamma (\mu ,\lambda ) \\ s.t.\mu \ge 0 \end{gathered}$$

最优值为$d^{\ast }$，强对偶性成立，则对偶问题的最优值即为主问题的最优解。

强对偶性要求：

1. 主问题为凸优化
2. 在主问题的可行集存在一点使所有的不等式约束的不等号成立。

KKT条件

设$f(x),g_i(x),h_j(x)$一阶偏导连续，$x^{\ast },({\mu }^{\ast },{\lambda }^{\ast })$分别为主问题和对偶问题的最优解，若强对偶性成立，则$x^{\ast },{\mu }^{\ast },{\lambda }^{\ast }$满足
$$\{\begin{array}{l}{\nabla }_{x}L(x^{\ast },{\mu }^{\ast },{\lambda }^{\ast })=\nabla f(x^{\ast })+{\sum }_{i=1}^m{\mu }_i^{\ast }\nabla g_i(x^{\ast })+{\sum }_{j=1}^m{\lambda }_j^{\ast }\nabla {\eta }_j(x^{\ast })\\ g_j(x^{\ast })\le 0\\ h_j(x^{\ast })=0\\ {\mu }_i^{\ast }\ge 0\\ {\mu }_i^{\ast }{g}_i(x^{\ast })=0\end{array}$$