拉格朗日对偶性

在支持向量机中，需要用拉格朗日对偶性将原始问题转换成对偶问题，解得对偶问题的解从而得到原始问题的解。在此简单介绍拉格朗日对偶性的基本原理和方法。

原始问题

假设$f(x)$，$c_{i}(x)$，$h_{j}(x)$ 是定义在$\textbf{R}^n$上的连续可微函数。考虑约束最优化问题

$$\begin{align} \min_{x\in{R^n}} f(x) \qquad \tag{C.1} \\ s.t.\qquad c_{i}(x)&\leq{0},\qquad i=1,2,\cdots,k \tag{C.2}\\ h_{j}(x)&=0, \qquad j = 1,2,\cdots ,l \tag{C.3} \end{align}$$
称此约束最优化问题为原始最优化问题或原始问题。
首先引进拉格朗日函数 $$L(x,\alpha,\beta)=f(x)+\sum\limits_{i=1}^{k}\alpha_{i}c_{i}(x)+\sum\limits_{j=1}^{l}h_{j}(x)\tag{C.4}$$ 其中 $x=(x^{(1)},x^{(2)},\cdots,x^{(n)})^{T}\in\textbf{R}^{n}$， $\alpha_{i}$， $\beta_{j}$是拉格朗日乘子， $\alpha_i\geq0$。考虑 $x$的函数 $$\theta_{p}(x)=\max_{\alpha,\beta;\alpha_{i}\geq0}L(x,\alpha,\beta)\tag{C.5}$$ ，下标p表示原始问题。假设有某个 $x$，不符合原始问题的约束条件，也就是存在某个$i$或者 $j$使得$c_{i}(w)<0$或者 $h_{j}(x)\neq0$，那么就可以使某个 $\alpha_{i}\to+\infty$或 $\beta_{j}$使得 $\beta h_{j}(x)\to\infty$，因此 $\theta_{p}(x)\to+\infty$，如果 $x$满足约束条件，显而易见的是$\theta_{p}(x)=f(x)$。从而有下式： $$\theta_{p}(x)=\max_{\alpha,\beta;\alpha_{i}\geq0}L(x,\alpha,\beta)=\begin{cases} f(x)&, x满足约束条件\\ +\infty&,其他 \end{cases}\tag{C.6}$$
所以考虑 $$\min_{x}\theta_{p}(x)=\min_{x}\max_{\alpha,\beta;\alpha_{i}\ge0}L(x,\alpha,\beta)\tag{C.7}$$ 与原始问题等价。问题 $\min_{x}\max_{\alpha,\beta;\alpha_{i}\ge0}L(x,\alpha,\beta)$成为广义拉格朗日函数的极小极大问题。因此原始问题转换成了广义拉格朗日的极小极大问题。设原始问题的最优值为 $$p^{*}=\min_{x}\theta_{p}(x)\tag{C.8}$$ 称为原始问题的最优值。

对偶问题

定义

$$\theta_{D}(x)=\min_{x}L(x,\alpha,\beta)\tag{C.9}$$ 在考虑极大化 $\theta_{D}(x)$即: $$\max_{\alpha,\beta;\alpha_{i}\geq0}\theta_{D}(x)=\max_{\alpha,\beta;\alpha_{i}\geq0}\min_{x}L(x,\alpha,\beta)\tag{c.10}$$ 上式称为拉格朗日函数的极大极小问题。将此问题表示为约束最优化问题 $$\begin{align} &\max_{\alpha,\beta}\theta_{D}(x)=\max_{\alpha,\beta}\min_{x}L(x,\alpha,\beta)\\ &\qquad s.t.\qquad \alpha_{i}\geq0, i= 1,2,\cdots,k \end{align}\tag{C.11}$$ 称为原始问题的对偶问题。定义对偶问题的最优值 $$d^{*}=\max_{\alpha,\beta}\theta_{D}(\alpha,\beta)\tag{C.12}$$ 称为对偶问题的最优值。

原始问题与对偶问题的关系

定理C.1 若原始问题和对偶问题都有最优值，则

$$d^{*}=\max_{\alpha,\beta}\theta_{D}(\alpha,\beta)\le\min_{x}\theta_{p}(x)=p^{*}$$
推论C.2 设 $x^{*}$和 $\alpha^{*},\beta^{*}$分别是原始问题和对偶问题的可行解，并且 $d^{*}=p^{*}$，则 $x^{*}$和 $\alpha^{*},\beta^{*}$分别是原始问题和对偶问题的额最优解。

在某些条件下，原始问题和对偶问题的最优值相等，即$d^{*}=p^{*}$。这时可以用解对偶问题替代解原始问题。下面一定理的形式叙述有关的重要结论而不予证明。

定理C.2 对于原始问题和对偶问题，假设函数$f(x)$和$c_{i}(x)$都是凸函数，$h_{j}(x)$是仿射函数；并且不等式约束$c_{i}(x)$是严格可行的，即存在$x$使得对所有的$i$有$c_{i}(x)\le0$，则存在$x^{*},\alpha^{*},\beta^{*}$，使$x^{*}$是原始问题的解，$\alpha^{*},\beta^{*}$是对偶问题的解。并且

$$p^{*}=d^{*}=L(x^{*},\alpha^{*},\beta^{*})$$

定理C.3对于原始问题和对偶问题，假设函数$f(x)$和$c_{i}(x)$都是凸函数，$h_{j}(x)$是仿射函数；并且不等式约束$c_{i}(x)$是严格可行的，即存在$x$使得对所有的$i$有$c_{i}(x)\le0$，则$x^{*}$和$\alpha^{*},\beta^{*}$分别是原始问题和对偶问题的解的充分必要条件是$x^{*},\alpha^{*},\beta^{*}$，使$x^{*}$满足下面的KKT条件

$$\begin{cases} \nabla_{x} L(x^{*},\alpha^{*},\beta^{*})&=0\\ \nabla_{\alpha} L(x^{*},\alpha^{*},\beta^{*})&=0\\ \nabla_{\beta} L(x^{*},\alpha^{*},\beta^{*})&=0\\ \alpha^{*}c_{i}(x)&=0\\ c_{i}(x)&\le0\\ \alpha_{i}&\ge0\\ h_{j}(x)&=0 \end{cases}$$ 特别补充的是 $\alpha^{*}c_{i}(x)=0$称为KKT的对偶互补条件。由此条件可知，若 $\alpha_{i}>0$则 $c_{i}(x)=0$。

引自：李航. 统计学习方法[M]. 清华大学出版社, 2012.