支持向量机学习笔记--原理篇（一）

支持向量机学习笔记–原理篇（一）

前言

初步学习机器学习给我最大的感受是它背后需要强大的数学知识，理论推导往往能帮助我们理解其本质。而在我看来，单纯的求解数学问题还不够，我们需要有把这部分理论知识运用到实际应用中去的能力。支持向量机(support vector)是机器学习中用来解决监督分类问题的一种方法。

本文致力于把复杂的理论简化到简单的低维情况，配以图的方式对相关理论进行学习性解释。最后再用python语言实现它，以实践的方式，把数学公式应用到计算机编程领域。自知水平有限，大部分内容均是在学习过程中所参考的资料，本文不再重复上述所讲的任何观点以及重证理论公式，只在关键处加入自己的思考，以括号注释，呈现自己思考的过程。

ps：本文假设读者有了一定机器学习的基础，对基本概念均有所了解。

思考

• 感知机是什么？
• 支持向量机是什么？
• 支持向量机是为了解决什么问题而被提出来

感知机

感知机概念

感知机是二元分类中最简单的模型，我们先学习感知机，来慢慢加深对支持向量机的理解。

书本《统计学习方法》定义为：感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。（注释：输出空间只取+1和-1，这在后续公式推导时有非常大的好处。）感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。

简单来说，对于一个二元分类问题，感知机能够根据给定的算法训练出一种线性模型来对数据进行分类的效果。首先我们来看这个函数：

$$f(x) =wx+b$$
初中我们就学过这样一条直线所代表的含义，即在X-Y轴上画出一条直线，那么在感知机中它是什么样的物理含义呢？咱们再来看看感知机输入空间到输出空间的映射函数：
$$f(x)=sign(wx+b)$$
其中 $w$和$b$为感知机模型参数， $w\in R^n$叫做权值（weight）或权值向量（weight verctor）， $b\in R$叫作偏置（bias）， $w\cdot x$表示 $w$和$x$的内积。sign是符号函数，即
$$sign(x) = \begin{cases} +1, & x\ge 0 or -1, & x\lt 0 \end{cases}$$
输入空间到输出空间的映射函数，是感知机的终极模型，因此算法也是建立在该模型上进行探讨的，数据的存在是为了训练模型所定义的参数，而这参数便是 $w$和$b$，但仅定义这个模型显然是无法求解参数的，不急，咱们继续看看该函数在三维空间实际的几何图形是什么样的。

明明是二维！怎么是三维呢，其实 $f(x)$函数所代表的维度为 $n+1$维，n是特征向量 $x$的维度，而+1维则代表了输出空间的维度。图中，二维空间向量可以用$X$表示，其中 $X_i=(x_1,x_2)^T$表示，第三维我们不以z轴来表示，而是以一种直观的形状来代表。假设负类为小方块，正类为小圆圈。

配上图我们便能理解该模型的物理含义了，大量的数据集表在我们面前，如果它们是线性可分的，那我们就能找到一条直线来区分正类和负类，但实际情况却总是出乎意料，现实世界的复杂程度超过了我们预测，往往数据都是非线性可分的，因此感知机升级到了支持向量机用来解决一些非线性问题，当然支持向量机还不是简单的为解决该问题所存在，后续还会提到。回到上图，当$w\cdot x+b\gt0$时，代表该点在$f(x)$的上方，即$sign(x)$为1。只要找到$w,b$就能对数据进行二元分类。

感知机学习策略

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。为了找出这样的超平面，即确定感知机模型参数$w,b$需要确定一个学习策略，即定义经验损失函数并将损失函数极小化。

什么！经验损失函数。。。也就是在斯坦福大学机器学习课程中所定义的cost function。联想到实际物理情况中去，经验损失是我们根据已有数据进行拟合后所得出的在大脑中目前最好的“规则引擎”，当遇到类似情况时，我们找到该“规则引擎”对数据做预测or分类。但往往令人遗憾的是，我们涉世未深，所得到的数据只是我们漫长时间线上的很小一部分，该“规则引擎”显然还未拟合的很好，每当出现大量的预测错误时，我们便需要更改我们的规则引擎，怎么变？什么时候变？需要一个衡量标准，那好，把之前的数据拿出来，加上现有数据，我们重新计算一遍平均误差，选择误差最小的代表我们最新的规则引擎。

回归数学，损失函数的一个自然选择是误分类点的总数。但是，这样的损失函不是参数$w,b$的连续可导函数，不易优化。损失函数的另一个选择是误分类点到超平面S的总距离，这是感知机所采用的，为此，首先写出输入空间$R^n$中任一点$x_0$到超平面S的距离：

$$\frac 1{\Vert w \Vert}\vert w \cdot x_0+b\vert$$
这里， $\Vert w\Vert$是 $w$的$L_2$范数。
抛开高级范数定义，上述公式就是中学所学过的一个点到直线的距离。其次，对误分类的数据 $(x_i,y_i)$来说，

$$-y_i(w\cdot x_i+b) \gt0$$

成立。因为当$w\cdot x_i+b \gt0,y_i =-1$，而当$w\cdot x_i+b \lt0$时，$y_i=+1.$因此，误分类点$x_i$到超平面S的距离是

$$-\frac 1{\Vert w\Vert}y_i(w\cdot x_i+b)$$

这样，假设超平面S的误分类点集合为M，那么所有误分类点到超平面S的总距离为

$$-\frac 1{\Vert w\Vert}\sum_{x_i\in M}y_i(w\cdot x_i+b)$$

不考虑$\frac 1{\Vert w \Vert}$，就得到感知机学习的损失函数。

给定训练数据集

$$T = \{ (x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$

其中，$x_i\in R^n,y_i\in Y=\{+1,-1\},i=1,2,3,...N.$感知机$sign(w\cdot x+b)$学习的损失函数定义为

$$L(w,b)=-\sum_{x_i\in M}y_i(w\cdot x_i+b)$$

其中M为误分类点的集合。这个损失函数是感知机学习的经验风险函数。

显然，损失函数$L(w,b)$是非负的。如果没有误分类点，损失函数值是0。（正确分类点不记录损失函数的点集合）而且，误分类点越少，误分类点离超平面越近，损失函数值就越小。一个特定的样本点的损失函数：在误分类时是参数$w,b$的线性函数，在正确分类时是0。因此，给定训练数据集T，损失函数$L(w,b)$是$w,b$的连续可导函数。

感知机学习算法

上节给出了具体的损失函数

$$L(w,b)=-\sum_{x_i\in M}y_i(w\cdot x_i+b)$$

一个很直观的想法便是求解该损失函数的极小值，即可表示为

$$min{L(w,b)}= -\sum_{x_i\in M}y_i(w\cdot x_i+b)$$

感知机学习算法是误分类驱动的，具体采用随机梯度下降法。首先，任意选取一个超平面$w_0,b_0$，然后用梯度下降法不断地极小化目标函数。极小化过程中不是一次使用M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。（有关梯度下降算法，看最近能否找到相关资料，重新开篇文章进行讲解，这里直接给出$w,b$的更新公式，因为我只知道了该公式的形式化解释，随机梯度下降和所有误分类点的梯度下降在书中并没有找到相关联系）

随机选取一个误分类点$(x_i,y_i)$，对$w,b$进行更新：

$$w \leftarrow w+\eta y_ix_i$$

$$b \leftarrow b+\eta y_i$$

式中$\eta(0\lt \eta \le 1)$是步长，在统计学习中又成为学习率。这样通过迭代可以期待损失函数$L(w,b)$不断减小，直到为0。综上所述，得到如下算法：
算法：（感知机学习算法的原始形式）

输入：训练数据集$T =\{(x_1,y_1),,(x_2,y_2),...(x_N,y_N)\}$，其中$x_i \in X=R^n,y_i \in Y=\{-1,+1\},i=1,2,...,N;$学习率$\eta(0\lt \eta \le 1);$
输出：$w,b;$感知机模型$f(x)=sign(w\cdot x+b);$
(1)选取初值$w_0,b_0$
(2)在训练集中选取数据$(x_i,y_i)$
(3)如果$y_i(w\cdot x_i+b) \le 0$

$$w \leftarrow w+\eta y_ix_i$$ $$b \leftarrow b+\eta y_i$$
(4) 转至(2)，直至训练集中没有误分类点

这里采用了随机梯度下降算法，即在更新$w,b$时，只单独计算了某个$(x_i,y_i)$点。那为什么这样的更新算法便能找到$L(w,b)$的极小值呢？

步骤1、2可以忽略不看，重点关注步骤3。判别式$y_i(w\cdot x+b) \le 0$是用来删选所有误分类点，然后根据误分类点做$w,b$的数值更新。

观察判别式$y_i(w\cdot x_i+b) \le 0$，我们能发现什么几何含义呢？我们根据$y_i$进行分类，当$y_i=+1$时，符合判别式的$x_i$的情况为$(w\cdot x_i+b) \le 0;$同理，当$y_i=-1$时，符合判别式的$x_i$的情况为$(w\cdot x_i+b) \ge 0.$我们记$margin=w\cdot x_i+b.$

在二维坐标轴上容易观察出，实际坐标距离为

$$real_{margin}=\frac 1{\Vert w \Vert } \vert w\cdot x_i+b \vert.$$
因此忽略系数 $\frac 1{\Vert w\Vert}$,margin可以理解为实际的误分类点离我们所假设直线的误差距离。在直线上方，margin为正，在直线下方margin为负。

因此很容易想到，误差距离是所有误分类点形成的距离，那么根据每一个误差分类点，如果margin为正，就应该使margin变为负，如果margin为负，应该使margin为正。总结一句话，针对所有误分类点，更新$w,b$，使得margin应该朝相反方向发生变化。即正变负，负变正。

好，有了这样简单的规律总结，我们便需要构造这样的更新式了，我们直接给出结论，证明它的确符合上述规律即可。式为：

$$w \leftarrow w+\eta y_ix_i$$ $$b \leftarrow b+\eta y_i$$
$w,b$只是根据原来的值，加上误分类点值做了更新。先来看 $b$的变化情况，$\eta$在区间[0,1]之间，因此 b和 $y_i$之间关系即为反向关系（你增我减，你减我增，跟你势不两立！），代入margin，得

$$margin^{new} =w\cdot x_i+b^{old}+\eta y_i$$ $$margin^{old}=w\cdot x_i+b^{old}$$

$margin^{new}$和$margin^{old}$符合反向变化关系。同理，来看看$w$的变化情况，代入magrin得

$$margin^{new}=w^{old}\cdot x_i+ \eta y_ix_ix_i^T+b$$

$$margin^{old}=w^{old}\cdot x_i+ b$$

同样的$margin^{new}$和$margin^{old}$符合反向变化关系。综上所述，对于所有的误分类点，如果margin不符合条件，我们便让它反向变化一次，当然针对同一个误分类点，我们可以让它变化n次，直到符合判别式条件。如果遇到线性不可分问题，那么该算法也将无解。

Python实现

参考《机器学习实战》中的代码，单独开一章来剖析SMO算法的具体实现。老规矩，看代码之前先看数据。

训练集：training.data
每个实例就是一个二维向量和一个±1的label：

3.542485  1.977398  -1
3.018896  2.556416  -1
7.551510  -1.580030 1
2.114999  -0.004466 -1
8.127113  1.274372  1
7.108772  -0.986906 1
8.610639  2.046708  1
2.326297  0.265213  -1
3.634009  1.730537  -1
0.341367  -0.894998 -1

初始化代码如下：

if __name__=="__main__":
    """
      加载数据集
      :param fileName:
      :return:
    """
  if len(sys.argv)!=4:
    print "Usage:python perceptron.py n trainFile modelFile"
    exit(0)
  eta = float(sys.argv[1])
  trainFile =file(sys.argv[2])
  modelFile =file(sys.argv[3],'w')

  lens =0

  for line in trainFile:
    chunk = line.strip().split(' ')
    lens = len(chunk)-1 #feature X lens
    tmp_all =[]
    tmp =[]
    for i in range(1,lens+1):
      tmp.append(float(chunk[i]))
    tmp_all.append(tmp)
    tmp_all.append(float(chunk[0]))
    training_set.append(tmp_all)
  trainFile.close()
  for i in range(lens):
    w.append(0)
  for i in range(1000):# iterator 1000
    check()
  print "The training_set is not linear separable."

$w,b$更新：

def update(item):
  global w,b,lens,eta
  for i in range(lens):
    w[i] =w[i]+eta*item[1]*item[0][i]
  b = b+ eta*item[1]
  print w,b

$L(w,b)=-\sum_{x_i\in M}y_i(w\cdot x_i+b)$误差函数计算：

def cal(item):
  global w,b
  res =0
  for i in range(len(item[0])):
    res += item[0][i]*w[i]
  res +=b
  res *=item[1]
  return res

判别式$y_i(w\cdot x_i+b) \le 0$判断：

def check():
  flag =False
  for item in training_set:
    if cal(item) <=0:
      flag = True
      update(item)
  if not flag: #False
    print "RESULT:W:"+str(w)+"b:"+str(b)
    tmp=''
    for keys in w:
      tmp +=str(keys)+' '
    tmp = tmp.strip()
    modelFile.write(tmp+'\n')
    modelFile.write(str(b)+'\n')
    modelFile.write(str(lens)+'\n')
    modelFile.write(str(eta)+'\n')
    modelFile.close()
    os._exit(0)
  flag =False

至此，感知机的基本原理和代码实现已基本讲解完成，在下篇中将继续学习感知学习算法的对偶形式，该对偶形式目测能够与支持向量机形成一些有趣的对比，待学习…

最后来一句废话吧，不积跬步，无以至千里；不积小流，无以成沧海。

参考文献及推荐阅读

• 感知机（python实现）
• 李航. 统计学习方法[M]. 北京：清华大学出版社，2012