《机器学习实战中文版》 支持向量机

支持向量机

1. 概述

• SVM有三宝： 间隔、对偶、核技巧
• 找一个超平面作为决策边界实现二分类
  优点：泛化错误率低，计算开销不大，结果易解释。
  缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。
  适用数据类型：数值型和标称型数据。

2. 实现

• 寻找最大间隔
  超平面的形式可写为：${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$
  任意点$x$到超平面的距离为：$r=\frac{|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b|}{\Vert \mathbf{w}\Vert }$
  距离超平面最近的训练样本就称为“支持向量”，满足条件：$|w^{\mathrm{T}}\mathbf{x}+b|=1$
  两个异类的支持向量到超平面的距离和（间隔）为：$\gamma =\frac{2}{\Vert \mathbf{w}\Vert }$
  找到最大间隔，也就是找到满足约束条件的参数$w$和$b$：

$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$$$$s.t.y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m$$

• 分类器求解优化问题
  在求解参数$w$和$b$的过程中，使用拉格朗日乘子法结合“对偶问题”可巧妙的转换成：
  $$\underset{\mathbf{\alpha }}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j$$$$\begin{array}{llc}\text{ s.t. }& {\sum }_{i=1}^m{\alpha }_i{y}_i=0{\alpha }_i⩾0,& i=1,2,\dots ,m\end{array}$$
  解出$\alpha$后，求出$w$与$b$即可得到模型，当$x$为新数据时，代入函数根据结果实现分类：$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}\mathbf{x}+b\end{array}$$
  关于解$\alpha$，其中有对拉格朗日函数求$w$和$b$偏导等于零得出的条件，还有KKT约束
• SMO高效优化算法
  是一种用于在线性约束下优化具有多个变量的目标函数的算法，用本书中的例子来描述，大致思路就是每次选择两个合适的$\alpha$，固定其他的$\alpha$，根据误差修改选择的$\alpha$，不断执行直至收敛
• 在复杂数据上应用核函数
  • 对于复杂的数据，利用核函数把数据映射到高维空间，在高维空间把它变成线性问题解决，相当于低维空间中解决非线性问题
  • 常用的核函数有多项式核、高斯核（RBF核）和拉普拉斯核等，对于文本数据通常采用线性核，不明时可使用高斯核
    $$高斯核：k(x,y)=\exp \left(\frac{-\Vert x-y{\Vert }^2}{2{\sigma }^2}\right)（\sigma 是带宽）$$

3. 总结

• 支持向量机是一种分类器，它会产生一个二值决策结果，具有很好的学习能力
• 在本章中了解到的${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$将是一个通用的格式，通过核技巧（本人将其描述为升维出击），对机器学习有了一个新的理解