《机器学习实战》第六章 支持向量机

支持向量机
优点： 泛化错误率低，计算开销不大，结果易解释。
缺点： 对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。
适用数据类型： 数值型和标称型数据。

---

一般流程：
⑴收集数据：可以使用任意方法。
(2)准备数据：需要数值型数据。
(3)分析数据：有助于可视化分隔超平面。
(4)训练算法：SVM的大部分时间都源自训练，该过程主要实现两个参数的调优。
(5)测试算法：十分简单的计算过程就可以实现。
(6)使用算法：几乎所有分类问题都可以使用SVM，值得一提的是，SVM本身是一个二类分类器，对多类问题应用SVM需要对代码做一些修改。

---

基于最大间隔分隔数据

几个概念：

• 线性可分：
• 分隔超平面： 将数据集分隔开来的 直线 -> 平面 -> 超平面，即分类的决策边界。
  • 分布在超平面一侧的所有数据都属于某个类别，而分布在另一侧的所有数据则属于另一个类别。
  • 我们希望能采用这种方式来构建分类器，即如果数据点离决策边界越远，那么其最后的预测结果也就越可信。
• 间隔： 点到分隔面的距离。间隔应尽可能的大。
• 支持向量： 离分隔超平面最近的那些点。

我们来要试着最大化支持向量到分隔面的距离，需要找到此问题的优化求解方法。

寻找最大间隔

分隔超平面可以写成：

点 A 到超平面的距离，即点到超平面的法线长度，为：

分类器求解的优化问题

输人数据给分类器会输出一个类别标签，即用一个阶跃函数对 作用得到. 其中当 时输出 -1，反之输出 +1。
为了方便数学上的处理，使用只差一个符号的 -1 和 +1 ，而不是 0 和 1。例如当计算数据点到分隔面的距离并确定分隔面的放置位置时，间隔通过 来计算，如果数据点处于正方向（即+1类）并且离分隔超平面很远的位置时，会是一个很大的正数，同时是一个很大的正数。如果数据点处于负方向（-1类）并且离分隔超平面很远的位置时，此时由于类别标签为-1，则也会是一个很大的正数。
现在的目标就是找出分类器定义中的 w 和 b，我们必须找到具有最小间隔的数据点，而这些数据点也就是前面提到的支持向量。一旦找到具有最小间隔的数据点，我们就需要对该间隔最大化。即：

用拉格朗日乘子法求解，上式转化为：


此时都基于数据全部线性可分 的基础上。因此引入松弛变量，来允许些数据点可以处于分隔面的错误一侧。此时约束条件变为：

这里的常数 C 用于控制“最大化间隔”和“保证大部分点的函数间隔小于1.0” 这两个目标的权重。在优化算法的实现代码中，常数0是一个参数，因此我们就可以通过调节该参数得到不同的结果。
一旦求出了所有的，那么分隔超平面就可以通过这些来表达。这一结论十分直接，SVM 中的主要工作就是求解这些。

SMO高效优化算法

SMO表示序列最小优化（SequentialMinimalOptimization )

• 思想：将大优化问题分解为多个小优化问题来求解的。这些小优化问题往往很容易求解，并且对它们进行顺序求解的结果与将它们作为整体来求解的结果是完全一致的。在结果完全相同的同时，SMO算法的求解时间短很多。
• 目标：求出一系列 alpha 和 b, 一旦求出了alpha,就很容易计算出权重向量w并得到分隔超平面。
• 原理：每次循环中选择两个alpha进行优化处理。一旦找到一对合适的alpha,那么就增大其中一个同时减小另一个。这里所谓的“合适” 就是指两个alpha必须要符合一定的条件，条件之一就是这两个alpha必须要在间隔边界之外，而其第二个条件则是这两个alpha还没有进行过区间化处理或者不在边界上。

简化版SMO算法

同时改变两个alpha的原因：
有约束条件：

若改变一个alpha，则会不满足该约束条件。

伪代码：

创建一个alpha向量并将其初始化为0向量
当迭代次数小于最大迭代次数时：
    对数据集中的每个数据向量：
        如果该数据向量可以被优化：
            随机选择另外一个数据向量
            同时优化这两个向量
            如果两个向量都不能被优化，退出内循环

预备函数：

from numpy import *
from time import sleep

#加载数据集，得到每行的类标签和整个数据矩阵
def loadDataSet(fileName):
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = line.strip().split('\t')
        dataMat.append([float(lineArr[0]), float(lineArr[1])])
        labelMat.append(float(lineArr[2]))
    ret