拉格朗日乘子法

---

0. 前言

// 可直接跳过本小节
以支持向量积(Support Vector Machine, SVM) 的基本型引入拉格朗日乘子法(Lagrange Multipliers).
$$\begin{gathered} \min \frac{1}{2}\Vert \omega {\Vert }^2 \\ s.t.y_i({\omega }^T{x}_i+b)⩾1,i=1,2,\dots ,m. \end{gathered}$$
这式子本身是一个凸二次规划问题，能直接用现成的优化计算包求解，但是我们可以有更加高效的办法，那就是使用拉格朗日乘子法，其拉格朗日函数就可以写为：
$$L(\omega ,b,\alpha )=\frac{1}{2}\Vert \omega {\Vert }^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\omega }^T{x}_i+b))$$

1. 最优化问题

拉格朗日乘子法是求解最优化问题中最常见的方法，一般情况下，最优化问题会碰到一下三种情况：

1. 无约束条件
2. 有等式约束条件
3. 有不等式约束条件，像上文中的SVM基本型一样

情况1是最简单的情况，解决方法通常是函数对变量求导，令求导函数等于0的点可能是极值点，将结果带回原函数进行验证即可。

拉格朗日主要处理2、3两种情况，在第3种情况上需要加上KKT条件(Karush-Kuhn-Tucker)，本文将主要对拉格朗日进行详细讲述，KKT条件将在另外一篇博文进行讲解。

2. 拉格朗日乘子法

设目标函数为 f ( x ) f(x)