《西瓜书》阅读笔记——第六章

支持向量机SVM

SVM有三宝，间隔、对偶、核技巧

• SVM:
  • hard-margin SVM
  • soft-margin SVM
  • kernel SVM

1. 间隔和支持向量

基于训练集$D=(x_1,y_1),(x_2,y_2),...,(x_m,y_m),y_i\in -1,+1$在样本空间中找到一个划分超平面，将不同的样本分开。

SVM本质上是一个判别模型，跟概率无关。

可以将样本点分开的线有无线条，SVM从几何意义上就是找到最好的一条。

上图中靠经样本点的线收到噪声的干扰影响很大，鲁棒性很差，泛化误差大。

我们就是要找到最中间的一条线，它距离点的值之和最大。

• 超平面：${\omega }^{T}x+b=0$

  • $\omega =({\omega }_1;{\omega }_2;...;{\omega }_d)$为法向量，决定了超平面的方向
  • $b$为位移项，决定了超平面与远点之间的位置。

• 距离

  • $r=\frac{|{\omega }^{T}x+b|}{||\omega ||}$

• 分类——对于$(x_i,y_i)\in D$

  • ${\omega }^T{x}_i+b⩾0$时，$y_i=+1$
  • ${\omega }^T{x}_i+b⩽0$时，$y_i=-1$

• 间隔(margin)
  

• 距离超平面最近的训练样本使上式等号成立，他们被称为“支持向量”(support vector)，两个一类支持向量到超平面的距离之和为$\gamma =\frac{2}{||\omega ||}$，他被称为间隔。

​ 要找到具有“最大间隔”（maximum margin）的划分超平面，也就是要找到能满足上式约束的参数$\omega ,b$使得$\gamma$最大：

为了最大化间隔，仅需要最大化$||\omega |{|}^{-1}$,等价于最小化$||\omega |{|}^2$，于是有：

2.对偶

​ 希望求解上式得到最大间隔划分超平面所对应的模型：$f(x)={\omega }^{T}x+b$.

​ (6.6)本身是一个凸二次规划（convex quadratic programming）问题，我们可以对其使用拉格朗日乘子法得到其对应的“对偶问题”（dual problem）.对（6.6）的每条约束添加拉格朗日乘子${\alpha }_i⩾0$，则该问题的拉格朗日函数可以写成：

其中$\alpha =({\alpha }_1;{\alpha }_2;...;{\alpha }_m)$.令$L(\omega ,b,\alpha )$对$\omega 和b$的偏导值为0：

3.核函数

​ 我们之前假设样本是线性可分的，即存在一个划分超平面能将样本正确分类。限时任务重，原始样本点可能不是线性可分，即不存在超平面，如“异或”。

​ 可将样本从原始空间映射到一个更高维的特征空间 ，使得样本在这个特征空间内线性可分.上图就是将原始的二维空间映射到一个合适的三维空间，这样就获得了一个合适的划分超平面。

​ 令$\varphi (x)$表示将$x$映射后的特征向量，特征空间中的划分超平面对应的模型为$f(x)={\omega }^T\varphi (x)+b$.


求解（6.21）涉及到计算$\varphi (x_i{)}^T\varphi (x_j)$，这是样本$x_i$与$x_j$映射到特征空间之后的内积。特征空间可能是无穷维，计算很困难。因此我们设计这样一个函数：



​ 这里的$k(\cdot ,\cdot )$就是核函数（kernel function）.上式显示出模型最优解可以通过训练样本的核函数展开，这一展开式称为“支持向量展式”(support vector expansion).

​ 若已知合适映射$\varphi (\cdot )$的具体形式，则可以写出核函数$k(\cdot ,\cdot )$.但是一般不知道，我们有以下定理：

• 若$k_1$和$k_2$为核函数，则对于任意正数${\gamma }_1、{\gamma }_2$，其线性组合${\gamma }_1{k}_1+{\gamma }_2{k}_2$也是核函数。
• 若$k_1$和$k_2$为核函数，则核函数的直积$k_1⨂k_2()x,z=k_1(x,z)k_2(x,z)$也是核函数。
• 若$k_1$为核函数，则对于任意函数$g(x)$，$k(x,z)=g(x,z)g(z)$也是核函数。