拉格朗日乘子法

拉格朗日乘子法

拉格朗日乘子法是常用的一阶优化方法，本文首先介绍基本的拉格朗日乘子法，接着介绍具有不等式约束情形的拉格朗日对偶问题，最后使用拉格朗日对偶方法解决硬间隔支持向量机问题。

拉格朗日函数

对函数$f(\mathbf{x})$，$R^d\mapsto R$，考虑优化问题
$$\begin{array}{rl}& \underset{\mathbf{x}}{\min }f(\mathbf{x})\\ & s.t.h(\mathbf{x})=0\end{array}$$
目标函数在最优点${\mathbf{x}}^{\ast }$处的梯度一定正交于$h(\mathbf{x})=0$确定的$d-1$维约束曲面，同时对于约束曲面上的点$\mathbf{x}$，$h(\mathbf{x})$在该点的梯度一定也正交于约束曲面，也就是说在最优点${\mathbf{x}}^{\ast }$，梯度$\nabla f(\mathbf{x})$和$\nabla g(\mathbf{x})$一定相同或相反，即存在$\lambda \ne 0$使得
$$\nabla f({\mathbf{x}}^{\ast })+\lambda \nabla g({\mathbf{x}}^{\ast })=0$$
$\lambda$称为拉格朗日乘子，定义拉格朗日函数
$$L(\mathbf{x},\lambda )=f(\mathbf{x})+\lambda g(\mathbf{x})$$
将其对$\mathbf{x}$的偏导置零即可得到$\nabla f({\mathbf{x}}^{\ast })+\lambda \nabla g({\mathbf{x}}^{\ast })=0$，将其对$\lambda$的偏导置零即可得到$h(\mathbf{x})=0$，于是带约束优化问题转变为对拉格朗日函数$L(\mathbf{x},\lambda )$的无约束优化问题。

考虑不等式约束优化问题
$$\begin{array}{rl}& \underset{\mathbf{x}}{\min }f(\mathbf{x})\\ & s.t.g(\mathbf{x})\le 0\end{array}$$
其最优点${\mathbf{x}}^{\ast }$或在$g(\mathbf{x})<0$的区域内，或在边界$g(\mathbf{x})=0$上，当最优解在约束区域内部时，约束$g(\mathbf{x})\le 0$不起作用，可直接通过条件$\nabla f(\mathbf{x})=0$来获得最优点，等价于将$\lambda$置零然后对$\nabla L(\mathbf{x},\lambda )$置零得到最优点。当最优解落在约束区域边界上时，对应$g(\mathbf{x})=0$的情形，等价于等式约束。但此时$\nabla f({\mathbf{x}}^{\ast })$与$\nabla g({\mathbf{x}}^{\ast })$的方向一定相反，否则在$g(\mathbf{x})<0$的区域内$f(\mathbf{x})$还能取更小的值。因此存在$\lambda >0$使得$\nabla f({\mathbf{x}}^{\ast })+\lambda \nabla g({\mathbf{x}}^{\ast })=0$。总之必满足$\lambda g(\mathbf{x})=0$，因此原问题可转化为在如下约束下最小化拉格朗日函数
$$\{\begin{array}{l}g(\mathbf{x})\le 0\\ \lambda \ge 0\\ \lambda g(\mathbf{x})=0\end{array}$$
这称为Karush-Kuhn-Tucker(KKT)条件。

拉格朗日对偶

将上述想法推广到多个约束，考虑具有m个等式约束和n个不等式约束的优化问题
$$\begin{array}{rlr}& \underset{\mathbf{x}}{\min }f(\mathbf{x})& \\ & s.t.h_i(\mathbf{x})=0& i=1,\cdots ,m\\ & g_j(\mathbf{x})\le 0& j=1,\cdots ,n\end{array}$$
引入拉格朗日乘子$\mathbf{a}=(a_1,\cdots ,a_m{)}^T$和$\mathbf{b}=(b_1,\cdots ,b_n{)}^T$，相应的广义拉格朗日函数为
$$L(\mathbf{x},\mathbf{a},\mathbf{b})=f(\mathbf{x})+\sum _{i=1}^m{a}_i{h}_i(\mathbf{x})+\sum _{j=1}^n{b}_j{g}_j(\mathbf{x})$$
相应的KKT条件为
$$\{\begin{array}{l}{g}_j(\mathbf{x})\le 0\\ b_j\ge 0\\ b_j{g}_j(\mathbf{x})=0\end{array}$$
考虑$\mathbf{x}$的函数
$${\Theta }_P(\mathbf{x})=\underset{\mathbf{a},\mathbf{b};b_j\ge 0}{\max }L(\mathbf{x},\mathbf{a},\mathbf{b})$$
假设对于某个$\mathbf{x}$违反原始问题的约束，那么${\Theta }_P(\mathbf{x})\to +\infty$，因为可以让$a_i{h}_i(\mathbf{x})\to +\infty$或让$b_j\to +\infty$。相反如果$\mathbf{x}$满足原始问题的约束，那么${\Theta }_P(\mathbf{x})=f(\mathbf{x})$。因此
$${\Theta }_P(\mathbf{x})=\{\begin{array}{ll}f(\mathbf{x}),& \mathbf{x}满足约束\\ +\infty ,& 其他\end{array}$$
如果考虑极小化问题
$$\underset{\mathbf{x}}{\min }{\Theta }_P(\mathbf{x})=\underset{\mathbf{x}}{\min }\underset{\mathbf{a},\mathbf{b};b_j\ge 0}{\max }L(\mathbf{x},\mathbf{a},\mathbf{b})$$
它与原始最优化问题是等价的。称之为广义拉格朗日函数的极小极大问题。定义原始问题的最优值
$$p^{\ast }=\underset{\mathbf{x}}{\min }{\Theta }_P(\mathbf{x})$$
接着考虑$\mathbf{x}$的函数
$${\Theta }_D(\mathbf{a},\mathbf{b})=\underset{\mathbf{x}}{\min }L(\mathbf{x},\mathbf{a},\mathbf{b})$$
极大化${\Theta }_D(\mathbf{a},\mathbf{b})$，即
$$\underset{\mathbf{a},\mathbf{b};b_j\ge 0}{\max }{\Theta }_D(\mathbf{a},\mathbf{b})=\underset{\mathbf{a},\mathbf{b};b_j\ge 0}{\max }\underset{\mathbf{x}}{\min }L(\mathbf{x},\mathbf{a},\mathbf{b})$$
称为广义拉格朗日函数的极大极小问题，可将其表示为约束最优化问题
$$\begin{array}{rl}& \underset{\mathbf{a},\mathbf{b}}{\max }{\Theta }_D(\mathbf{a},\mathbf{b})\\ & s.t.b_j\ge 0\end{array}$$
称为原始问题的对偶问题，定义对偶问题的最优值
$$d^{\ast }=\underset{\mathbf{a},\mathbf{b};b_j\ge 0}{\max }{\Theta }_D(\mathbf{a},\mathbf{b})$$
若原始问题和对偶问题都有最优值，则满足
$$d^{\ast }=\underset{\mathbf{a},\mathbf{b};b_j\ge 0}{\max }\underset{\mathbf{x}}{\min }L(\mathbf{x},\mathbf{a},\mathbf{b})\le \underset{\mathbf{x}}{\min }\underset{\mathbf{a},\mathbf{b};b_j\ge 0}{\max }L(\mathbf{x},\mathbf{a},\mathbf{b})=q^{\ast }$$
证明：对任意$\mathbf{x}$，$\mathbf{a}$，$\mathbf{b}$有
$${\Theta }_D(\mathbf{a},\mathbf{b})=\underset{\mathbf{x}}{\min }L(\mathbf{x},\mathbf{a},\mathbf{b})\le L(\mathbf{x},\mathbf{a},\mathbf{b})\le \underset{\mathbf{a},\mathbf{b};b_j\ge 0}{\max }L(\mathbf{x},\mathbf{a},\mathbf{b})={\Theta }_P(\mathbf{x})$$
即
$${\Theta }_D(\mathbf{a},\mathbf{b})\le {\Theta }_P(\mathbf{x})$$
由于原始问题和对偶问题都有最优值，所以
$$\underset{\mathbf{a},\mathbf{b};b_j\ge 0}{\max }{\Theta }_D(\mathbf{a},\mathbf{b})\le \underset{\mathbf{x}}{\min }{\Theta }_P(\mathbf{x})$$
即
$$d^{\ast }=\underset{\mathbf{a},\mathbf{b};b_j\ge 0}{\max }\underset{\mathbf{x}}{\min }L(\mathbf{x},\mathbf{a},\mathbf{b})\le \underset{\mathbf{x}}{\min }\underset{\mathbf{a},\mathbf{b};b_j\ge 0}{\max }L(\mathbf{x},\mathbf{a},\mathbf{b})=q^{\ast }$$
如果$f(\mathbf{x})$和$g_j(\mathbf{x})$为凸函数，$h_i(\mathbf{x})$为仿射函数，那么原始问题和对偶问题的最优值相同，即存在${\mathbf{x}}^{\ast }$，${\mathbf{a}}^{\ast }$和${\mathbf{b}}^{\ast }$，使得
$$d^{\ast }=q^{\ast }=L({\mathbf{x}}^{\ast },{\mathbf{a}}^{\ast },{\mathbf{b}}^{\ast })$$
这称为Slater条件，这时可以解对偶问题代替解原始问题。

硬间隔支持向量机

硬间隔支撑向量机可以写成优化问题
$$\begin{array}{rlr}& \underset{\mathbf{w}}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2& \\ & s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1& i=1,\cdots ,m\end{array}$$
其广义拉格朗日函数为
$$L(\mathbf{w},b,\mathbf{x})=\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{i=1}^m{a}_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))$$
$\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$是关于$\mathbf{w}$的二次函数，$1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)$是关于$\mathbf{x}$的线性函数，两者都是凸函数，满足slater条件，为求其对偶问题首先需要对$\mathbf{w}$和$b$求偏导并令其等于0，可以得到
$$\begin{array}{rl}\mathbf{w}-\sum _{i=1}^m{a}_i{y}_i{\mathbf{x}}_i& =0\\ \sum _{i=1}^m{a}_i{y}_i& =0\end{array}$$
将其代入$L(\mathbf{w},b,\mathbf{x})$得到对偶函数
$$L_D(\mathbf{a})=-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^n{a}_i{a}_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j+\sum _{i=1}^m{a}_i$$
于是其对偶问题为
$$\begin{array}{rlr}& \underset{\mathbf{a}}{\max }{L}_D(\mathbf{a})& \\ & s.t.\sum _{i=1}^m{a}_i{y}_i=0& \\ & a_i\ge 0& i=1,\cdots ,m\end{array}$$
解出对偶问题后，即可得到
$$\mathbf{w}=\sum _{i=1}^m{a}_i{y}_i{\mathbf{x}}_i$$
同时上述过程需满足KKT条件
$$\{\begin{array}{l}{a}_i\ge 0\\ 1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\le 0\\ a_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))=0\end{array}$$
因此对$a_i\ne 0$的样本，必有$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)=1$，这样的样本就是支撑向量，那么对任意支撑向量可以解得
$$b=\frac{1}{y_i}-{\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}$$
现实中为了保持鲁棒性，通常是对所有支撑向量求平均值。