Andrew Ng - SVM【2】一步步迈向核函数——拉格朗日、原问题与对偶问题

Andrew Ng - SVM【2】一步步迈向核函数

---

1. 拉格朗日对偶规划

暂且撇开SVM和最大间隔分类器不管（当然不是真的不管），我们先来讨论一个在一定约束条件下的优化问题：

$$\begin{aligned} &min_\omega\quad f(\omega) \\ & s.t.\quad h_i(\omega)=0,\quad i=1,...,l \end{aligned}$$

则该问题对应的拉格朗日函数为：

$\mathcal{L}(\omega,\beta)=f(\omega)+\sum_{i=1}^l\beta_ih_i(\omega)$

$\beta_i$我们叫做拉格朗日乘数，接着我们令 $\mathcal{L}$偏导为零：

$\frac{\partial\mathcal{L}}{\partial \omega_i}=0;\quad\frac{\partial\mathcal{L}}{\partial \beta_i}=0,$

便可以求出 $\omega$和 $\beta$。
对于更一般化的约束问题，除了等式约束条件以外，我们还要加入不等式约束条件，称之为 原问题，表达式如下：

$$\begin{aligned} &min_\omega\quad f(\omega) \\ & s.t.\quad g_i(\omega)\leq0,\quad i=1,...,k\\ & \ \ \ \quad\quad h_i(\omega)=0,\quad i=1,...,l \end{aligned}$$

该问题对应的拉格朗日函数为：

$\mathcal{L}(\omega,\alpha,\beta)=f(\omega)+\sum_{i=1}^k\alpha_ig_i(\omega)+\sum_{i=1}^l\beta_ih_i(\omega)$

$\alpha_i$和 $\beta_i$我们叫做拉格朗日乘数，假设有如下等式：

$\theta_\mathcal{P}(\omega)=\max_{\alpha,\beta:\alpha_i\geq0}\mathcal{L}(\omega,\alpha,\beta).$

这里下标 $\mathcal{P}$用来指代原优化问题。给定一些 $\omega$，如果 $\omega$违反了拉格朗日的任意约束条件（存在 $g_i(\omega)>0$或者 $h_i(\omega)\ne0$）， $\theta_\mathcal{P}(\omega)=\infty$；相反，如果所有约束条件满足，则 $\theta_\mathcal{P}(\omega)=f(\omega)$。因此：

θP(ω)={