统计学习：线性可分支持向量机(SVM)

1. 模型
1.1 超平面
我们称下面形式的集合为超平面

{x|aTx−b=0}(1)
其中a∈Rn且a≠0,x∈Rn,b∈R。解析地看，超平面是关于x的非平凡线性方程的解空间（因此是一个仿射集，仿射集和凸集的概念参考Stephen Boyd的《凸优化》）从几何上看，它的的法向量为a，而常数b∈R决定了这个超平面从原点的偏移。这如何得到的呢？这是因为，若我们由法向量a和超平面上一点x0确定超平面，则对超平面上任意一点x，我们可以得到x−x0一定垂直于a，则超平面的集合便可以表示为

{x|aT(x−x0)=0}(2)
R2中的几何化的解释如下图所示，其中深色箭头表示x−x0：
线性可分支持向量机学习算法
一个超平面将Rn划分为两个半空间，（闭的）半空间是具有下列形式的集合：

{x|aTx−b⩽0}(3)
即（非平凡）的线性不等式的解空间，其中a≠0。半空间是凸的，但不是仿射的。集合{x|aTx−b<b}是半空间{x|aTx−b⩽0}的内部，称为开半空间。

1.2 线性可分支持向量机
我们定义样本空间为X⊆Rn，输出空间为Y={+1,−1}。X为输入空间上的随机向量，其取值为x，满足x∈X；Y为输出空间上的随机变量，设其取值为y，满足y∈Y。我们将容量为m的训练样本表示为:

D={ {x(1),y(1)},{x(2),y(2)},...,{x(m),y(m)}}(4)
当y(i)=+1时，我们称x(i)为正例；当y(i)=−1时，称xi为负例。(x(i),y(i))称为样本点。
如果我们假设训练数据集是线性可分的，则我们可以在特征空间中找到一个分离超平面{x|wTx+b=0}，将特征空间划分为{x|wTx+b>0}和{x|wTx+b<0}两个开半空间(显然法向量w指
向的一侧为正，另一侧为负)，且为正的一侧对应负类，为负的一侧对应负类。

如果训练集线性可分，则我们存在无穷多个分离超平面将两类样本分开。如果我们采用感知机的误分类最小的训练策略(也就是仅仅保证分类的正确性)，那么我们将求得无穷多个解。我们接下来定义的线性可分支持向量机将利用“间隔最大化”求解最优分离超平面（即能将两组数据正确划分且间隔最大的超平面，我们在“学习策略”板块中将详述这一概念），这时解是唯一的。

形式化地说，给定线性可分的数据集，通过间隔最大化策略学习得到的分离超平面为

{x|w∗Tx+b∗=0}(5)
以及相应的分类决策函数

f(x)=sign(w∗Tx+b∗)(6)
称为线性可分支持向量机。

2. 学习策略
我们前面提到最好的超平面需要能将两组数据正确划分且间隔最大，那么间隔最大如何形式化地定义呢？我们先来看函数间隔和几何间隔的概念。

2.1. 函数间隔和几