理解支持向量机

支持向量机是一个二类分类模型，但也可以扩展为多类分类。其基于间隔最大化和核技巧的特点可以使它可以灵活处理线性或非线性分类问题。
支持向量机可是形式化为一个凸二次规划问题，学习算法是求解基于凸二次规划的最优化算法。
按照训练数据是否线性可分，支持向量机可以分为基于硬间隔的线性可分支持向量机、基于软间隔的线性支持向量机、基于核技巧和软间隔最大化的非线性支持向量机。三者复杂性是依次增加的。
1、基于硬间隔最大化的线性可分支持向量机
我们知道，感知机和决策树等学习方法没有区分模型的输入空间和特征空间，即认为两者所处的空间是一样的。支持向量机的输入空间和特征空间是不同的，输入空间为欧氏空间或离散集合，特征空间是希尔伯特空间。希尔伯特空间可以看作是欧氏空间的扩展，其空间维度可以是任意维的，包括无穷维。并且一个重要的性质是其具有欧氏空间不具备的完备性。这些特点都是支持向量机在做非线性特征空间映射所需要的。
下面从最简单的线性可分支持向量机入手，学过感知机的都知道，感知机通过训练一个超平面将平面或空间线性可分的点进行划分。
其超平面方程为 w∙x+b=0；
分类决策函数f(x)=sign(w∙x+b)。
线性可分支持向量机也是如此，通过找寻分割平面来划分数据集。不同的是，感知机的学习策略是误分类点到超平面距离和最小化，而线性可分支持向量机是基于硬间隔最大化的。

何为硬间隔最大化？
我们知道，当参数w,b确定后，其分类超平面也就确定了，那么分类超平面两侧的点到超平面的距离就可以得出，

这些点到分类超平面中必然有一个最小距离，实际上可划分这两组点的超平面的参数w,b有很多组，同样对应有最小距离。w,b选取什么值时，分类效果最好呢？就是分类面到两侧的距离越远说明分类效果越好，即找出这组最小距离中的最大值。为了度量这个值，这里引出了函数间隔和几何间隔的概念。
在超平面确定的情况下，能够相对表示点x距离超平面的远近，可以理解为对超平面进行上下移动。
而的符号与类标记符号是否一致能够表示分类是否正确。
函数间隔：对于给定的训练数据集T和超平面(w,b)，定义超平面（w,b）关于样本点的函数间隔为：

定义:

为超平面（w,b）对所有样本点函数距离最小值。
但是函数间隔存在一个问题，就是如果我们成比例地改变w,b的值，那么函数间隔的值就是变为原来的两倍，而超平面却并没有改变。为了解决这个问题，定义了几何间隔：
对于给定的训练数据集T和超平面