第20课：SVM——对偶学习算法

对偶问题

上一篇我们用 x 和 y 各代表一个维度，用 $z = f(x,y)$ 和 $g(x,y) = 0$ 分别代表一个二元函数和一个一元函数。这样做是为了和图形对比的时候能看得清楚，为了可视化方便。

一般情况下，我们就用 $x$ 代表一个函数的自变量。这个 $x$ 本身可以是多维的。

而且，同一个函数可能同时既有等式约束条件，又有不等式约束条件。

主问题

现在我们考虑在 $d$ 维空间上有 $m$ 个等式约束条件和 $n$ 个不等式约束条件的极小化问题。这样的问题可以写作：

$min f(x)，\;其中\;x\;为\;d\;维$。

$s.t. \;\; h_i(x) = 0 , \;\;i = 1,2,…, m; \;\; g_j(x) \leqslant 0, \;\; j = 1,2, …, n$

我们把上述问题称为“原始最优化问题”，也可以叫做“原始问题”或“主问题”。

为了解决原始问题，我们引入拉格朗日乘子 $\lambda = (\lambda_1, \lambda_2, …, \lambda_m)^T $ 和 $\mu = (\mu_1, \mu_2, …, \mu_n)^T $，构造拉格朗日函数为：

$L(x,\lambda,\mu) = f(x) + \sum