支持向量机（一）线性可分的支持向量机与硬间隔最大化

        支持向量机其实和感知机的模型思想挺相似的，都是找出一个分离超平面对数据进行二分类。它是定义在特征空间上的间隔最大的线性分类器，这个间隔最大化使它区别于感知机；感知机通过迭代算法找出的分离超平面可以是不唯一的，但是支持向量机由于有最大化间隔的限制，即所有的支持向量点到分离超平面的距离之和是最大的，所以它的分离超平面是唯一的；实际上支持向量机还有核技巧，即数据本来是非线性可分的，但是通过映射（核技巧）将其转化为线性可分，所以它也是个非线性分类器。

        感知机必须对线性可分的数据集有效，但是支持向量机不仅对线性可分的数据有效，也对线性不可分的数据有效；其可以分为三种情况：

1. 当数据线性可分的时候，通过硬间隔最大化产生线性可分的支持向量机，也叫硬间隔支持向量机）。
2. 当数据线性近似可分的时候，通过软件各最大化产生线性支持向量机，也叫软件各支持向量机。
3. 当数据线性不可分的时候，通过核技巧即软件各最大化，学习非线性支持向量机。

    我们这里先介绍线性可分的支持向量机。

1. 函数间隔

        对于线性可分的支持向量机，我们需要找出一个超平面（对于二维的数据就是一条直线），将所以的数据点分开，就如下图所示：

                                                             

        中间的那条直线，就是我们需要求的直线L:。对于点xi，如果wxi+b>0，则我们可以判断点在直线的上方，如果wxi+b<0则我们可以判断点在直线的下方，其中|wxi+b|可以相对的表示点到直线的远近，越远我们就可以认为对这个分类结果越确信。其中wx+b的符号与类标记y的符号是否一致能够表示分类是否正确。假设对于对于所有的样本点（xi,yi）都分类正确，则yi的符号和wxi+b的符号是相同的yi(wxi+b)>0，否则是相反的yi(wxi+b)<0，所以我们可以用来表示分类的正确性以及确信度，这就是函数间隔的概念。

定义超平面