机器学习 - 支持向量机（1）- 线性可分 SVM（间隔最大化）

• 线性可分 SVM

  对于线性可分的数据，SVM 与之前讲过的 感知器算法 有异曲同工之妙。二者都是通过学得一个超平面以对数据进行分类，都是有解的。只不过 感知器算法有无数个解，而 SVM 只有一个最优解。

  下面开始介绍 SVM 的相关内容。

• 函数间隔与几何间隔

  所谓间隔，在这里是指样本点到超平面的距离，也可以用来表示分类预测的置信度（间隔越大，则分类有更高的置信度，反之同理）。

  • 几何间隔

    几何间隔类似于“点到线的距离”：$d=\frac{|w\cdot x+b|}{||w||}$，$||w||$ 表示 L₂ 范数。

    以此对于样本点 $x_i$，定义其到超平面的几何间隔为：$r_i=y_i\frac{w\cdot x_i+b}{||w||}$.

    $r_i$ 的正负可表示分类是否正确：$y_i与\frac{w\cdot x_i+b}{||w||}$ 同号，则表示分类正确；异号则表示分类错误。

  • 函数间隔

    函数间隔中，我们可用 $w\cdot x+b$ 来相对地表示样本点 $x_i$ 到超平面的距离以及类别。同样根据符号是否相同来判断分类是否正确。

    以此对于样本点 $x_i$，定义其到超平面的函数间隔为：$\overline{r_i}=y_i(w\cdot x_i+b)$.

  • 关系

    若 $||w||=1$，两间隔相等；
    若 $w,b$ 成比例改变，函数间隔也按比例改变，而几何间隔不变。

• 硬间隔最大化

  对于线性可分数据，我们能够得到无穷个分离超平面，但是使得所有样本点到超平面的距离之和最大的超平面是唯一的。

  之前说过点到超平面的距离可表示分类的置信度，那么间隔最大的超平面可以以最大的置信度对数据进行分类。也就是说，我们不仅要将正负样本点分开，还要有足够大的把握将他们分开。这样的超平面的泛化能力应当也很好。

  1. 求几何间隔最大的分离超平面可表示为下面的约束优化问题：

     ${}_{w,b}^{\max }r$

     $s.t.$ $y_i[\frac{w\cdot x_i+b}{||w||}]\ge r,i=1,2,...,M$

  ---

  2. 而几何间隔可用函数间隔表示：$r=\frac{\overline{r}}{||w||}$，则约束问题改变为：

     ${}_{w,b}^{\max }\frac{\overline{r}}{||w||}$

     $s.t.$ $y_i(w\cdot x_i+b)\ge \overline{r},i=1,2,...,M$

  ---

  3. 其中 $\overline{r}$ 的大小对约束问题没有影响（可以在 $w,b$ 中对 $\overline{r}$ 的变化进行同倍数抵消），所以可取 $\overline{r}=1$，得到：

     ${}_{w,b}^{\max }\frac{1}{||w||}$

     $s.t.$ $y_i(w\cdot x_i+b)\ge 1,i=1,2,...,M$

  ---

  4. 又因 最大化$\frac{1}{||w||}$ 等价于 最小化$\frac{1}{2}||w|{|}^2$，所以最终约束问题转化为：

     ${}_{w,b}^{\max }\frac{1}{2}||w|{|}^2$

     $s.t.$ $y_i(w\cdot x_i+b)-1\ge 0,i=1,2,...,M$

     （平方是为了去根号，$\frac{1}{2}$ 是为了在后续求导中约掉平方）

  ---

  5. 最终

     求得最优解 $w^{\ast },b^{\ast }$，得到分离超平面 $w^{\ast }x+b^{\ast }=0$，存在且唯一；

     决策函数 $f(x)=sign(w^{\ast }x+b^{\ast })$

• 对偶算法

  在求解约束问题最优解时，可以应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，更容易求解。

  1. 构建拉格朗日函数

     $L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-{\sum }_{i=1}^M{\alpha }_i[y_i(w\cdot x_i+b)-1]$

                        $=\frac{1}{2}||w|{|}^2-{\sum }_{i=1}^M{\alpha }_i{y}_i(w\cdot x_i+b)+{\sum }_{i=1}^M{\alpha }_i$

                         ${\alpha }_i\ge 0,i=1,2,...,M$

  ---

  2. 根据对偶性，将原始“最小最大”问题转化为“最大最小”问题

     ${}_{w,b}^{\min }{}_{\alpha }^{\max }L(w,b,\alpha )⟹{}_{\alpha }^{\max }{}_{w,b}^{\min }L(w,b,\alpha )$

  ---

  3. 为求最小，分别对 w, b 求偏导并等于 0

     ${\nabla }_{w}L(w,b,\alpha )=w-{\sum }_{i=1}^M{\alpha }_i{y}_i{x}_i=0$

     ${\nabla }_{b}L(w,b,\alpha )={\sum }_{i=1}^M{\alpha }_i{y}_i=0$

     得

     $w={\sum }_{i=1}^M{\alpha }_i{y}_i{x}_i$，${\sum }_{i=1}^M{\alpha }_i{y}_i=0$

     将结果代回，得

     ${}_{w,b}^{\min }L(w,b,\alpha )=-\frac{1}{2}{\sum }_{i=1}^M{\sum }_{j=1}^M{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+{\sum }_{i=1}^M{\alpha }_i$

     $s.t.$ ${\sum }_{i=1}^M{\alpha }_i{y}_i=0$

            ${\alpha }_i\ge 0,i=1,2,...,M$

  ---

  4. 求 ${}_{w,b}^{\min }L(w,b,\alpha )$ 对 $\alpha$ 的极大 ${}_{\alpha }^{\max }{}_{w,b}^{\min }L(w,b,\alpha )$

     添 “负号”将求极大转化为求极小，得到，

     ${}_{\alpha }^{\min }\frac{1}{2}{\sum }_{i=1}^M{\sum }_{j=1}^M{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-{\sum }_{i=1}^M{\alpha }_i$

     $s.t.$ ${\sum }_{i=1}^M{\alpha }_i{y}_i=0$

            ${\alpha }_i\ge 0,i=1,2,...,M$

  ---

  5. 求得最优解 ${\alpha }^{\ast }=({\alpha }_1,{\alpha }_2,...,{\alpha }_M{)}^T$，根据 KKT 条件，

     由此可得到 $w^{\ast }={\sum }_{i=1}^M{\alpha }_i^{\ast }{y}_i{x}_i$

     又因 $y_j(w^{\ast }{x}_j+b^{\ast })-1=0$，且注意到 $y_j^2=1$

     可得到 $b^{\ast }=y_j-{\sum }_{i=1}^M{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$

  ---

  6. 最终

     分离超平面可写成：${\sum }_{i=1}^M{\alpha }_i^{\ast }{y}_i(x\cdot x_j)+b^{\ast }=0$

     分类决策函数可写成：$f(x)=sign({\sum }_{i=1}^M{\alpha }_i^{\ast }{y}_i(x\cdot x_j)+b^{\ast })$

• 支持向量

  根据 $w^{\ast }={\sum }_{i=1}^M{\alpha }_i^{\ast }{y}_i{x}_i$ 以及 $b^{\ast }=y_j-{\sum }_{i=1}^M{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$ 可知，

  $w^{\ast },b^{\ast }$ 只依赖与训练数据中对应于 ${\alpha }_i^{\ast }>0$ 的样本点，而其他样本点对它们没有影响，所以我们将训练数据中对应于 ${\alpha }_i^{\ast }>0$ 的样本点 $x_i\in R^n$ 称为支持向量，且 $w^{\ast }{x}_i+b^{\ast }={}_{-}^{+}1$，即 $x_i$ 一定在决策边界上。