拉格朗日乘子法与拉格朗日对偶性

拉格朗日乘子法

摘自周志华《机器学习》
拉格朗日乘子法是一种寻找多元函数在一组约束下的极值的方法，通过引入拉格朗日乘子，可将有$d$个变量和$k$个约束条件的最优化问题转化为具有$d+k$个变量的无约束优化问题求解.
先考虑一个等式约束的优化问题，假定$\mathbf{x}$为$d$维向量，欲寻求$\mathbf{x}$的某个取值${\mathbf{x}}^{\ast }$,使目标函数$f(\mathbf{x})$最小且同时满足$g(\mathbf{x})=0$的约束. 从几何角度来看，该问题的目标是在方程$g(\mathbf{x})=0$确定的$d-1$维曲面上寻找能使目标函数$f(\mathbf{x})$最小化的点. 由此可以得出如下结论:

• 对于约束曲面上的任意点$x$,该点的梯度$\nabla g(\mathbf{x})$正交于约束曲面;
• 在最优点${\mathbf{x}}^{\ast }$，目标函数在该点的梯度$\nabla f({\mathbf{x}}^{\ast })$正交于约束曲面.

由此可知，在最优点${\mathbf{x}}^{\ast }$，如图1所示梯度$\nabla g(\mathbf{x})$与梯度$\nabla f(\mathbf{x})$的方向必相同或相反，即存在$\lambda \ne 0$使得$$\nabla f\left({\mathbf{x}}^{\ast }\right)+\lambda \nabla g\left({\mathbf{x}}^{\ast }\right)=0(1)$$ $\lambda$称为拉格朗日乘子 定义拉格朗日函数$$L(\mathbf{x},\lambda )=f(\mathbf{x})+\lambda g(\mathbf{x})(2)$$不难发现，将其对$x$的偏导数${\nabla }_{\mathbf{x}}L(\mathbf{x},\lambda )$置零得式$(1)$，同时，将其对$\lambda$的偏导数${\nabla }_{\mathbf{\lambda }}L(\mathbf{x},\lambda )$置零的得约束条件$g(\mathbf{x})=0$，于是原约束优化问题可转化为对拉格朗日函数$L(\mathbf{x},\lambda )$的无约束优化问题

图1 拉格朗日乘子法的几何含义：在$(a)$等式约束$g(\mathbf{x})=0$或不等式约束$g(\mathbf{x})⩽0$下，最小化目标函数$f(x)$，红色曲线表示$g(\mathbf{x})=0$构成的曲面，其围成的阴影区域表示$g(\mathbf{x})<0$

现考虑不等式约束$g(\mathbf{x})⩽0$，如图1所示，此时最优点${\mathbf{x}}^{\ast }$或在$g(\mathbf{x})<0$的区域中，或在边界上$g(\mathbf{x})=0$.

• 对于$g(\mathbf{x})<0$的情形，约束$g(\mathbf{x})⩽0$不起作用，可直接通过$\nabla f(\mathbf{x})=0$
  来获取最优点；这等价于将$\lambda$置零然后对${\nabla }_{\mathbf{x}}L(\mathbf{x},\lambda )$置零得到最优点.
• $g(\mathbf{x})=0$的情形类似于上面等式约束的分析，需注意的是，此时$\nabla f({\mathbf{x}}^{\ast })=0$的方向必与$\nabla g({\mathbf{x}}^{\ast })=0$相反，即存在常数$\lambda >0$使得$\nabla f\left({\mathbf{x}}^{\ast }\right)+\lambda \nabla g\left({\mathbf{x}}^{\ast }\right)=0$.
  整合这两种情形，必满足$\lambda g(\mathbf{x})=0$因此在约束$g(\mathbf{x})<0$下最小化$f(\mathbf{x})$，可转化为在约束下最小化式$(2)$的拉格朗日函数：
  $$\{\begin{array}{l}g(\mathbf{x})⩽0\\ \lambda ⩾0(3)\\ \lambda g(\mathbf{x})=0\end{array}$$式$(3)$称为$karush-Kuhn-Tucker$ (KKT)条件.
  上述做法可推广到多个约束
  $$\underset{\mathbf{x}}{\min }f(\mathbf{x})$$$$\text{ s.t. }{g}_j(\mathbf{x})⩽0(j=1,\dots ,n)(4)$$$$h_i(\mathbf{x})=0(i=$$