第19课：SVM——直观理解拉格朗日乘子法

上一篇，我们获得了线性可分 SVM 的目标函数：一个带约束条件的求极值问题。

而拉格朗日乘子法，恰恰是一种多元函数在变量受到条件约束时，求极值的方法。正好可以用来解决 SVM 的目标函数最优化。

我们在此不做严格的拉格朗日乘数法正确性的数学证明，而是以最简单的函数形式为例，从直观带大家来领略整个方法的每一个步骤。

换句话说，本文是帮我们积累一些对于“为什么将目标函数转化成拉格朗日函数再最优化是可行的”这件事的感性认识。

可视化函数及其约束条件

我们用二元函数——也就是自变量为2维的函数——来做个例子（为了看着更习惯一点，我们直接用 $x，y$ 作为自变量的两个维度）。

（被约束的）函数

我们之前有过可视化函数本身的经验。此处我们先要可视化一个二元函数 $f(x,y)$。

用一个大家熟悉的表达方式：$z = f(x,y)$ 。这就涉及到了3个变量：$x$，$y$ 和 $z$。

如果在三维直角坐标系中将 $f(x,y)$ 做出图来——把 $f(x,y)$ “画出图来”——会是一个三维空间的曲面——这样一个函数实际上表达了 $x，y，z$ 三者之间的关系。

比如下面几幅图，分别对应不同的 $f(x,y)$：