机器学习中的算法（4.2）：SVM----针对线性可分问题理解

支持向量机的算法分成两个步骤：

（1）解决线性可分问题。

（2）再将线性可分问题中获得的结论推广到线性不可分情况。

例子：是在二维特征空间中的二分类问题；有三条直线可以将两类样本进行分开，分别标记为1号线、2号线、3号线表示，但是这三条分割线中哪一条是最好的呢？如下图所示：

 

假如有了训练样本的位置，以及他们的标签，是否有一个把标准分割线画出来的一种方法；方法是基于最优化的理论，将寻找划分最优标准线的过程转化为最优化的问题，过程如下：

1、假设有任意一条分开圆圈和叉这两个样本的直线，如下图：

2、将这条直线朝一侧平行的移动，直到其叉到一个或几个训练样本位置，如下图可以看到这条虚线平行的移动，直到他叉到了其中的一个或几个训练样本。(叉到样本的意思就是样本落在这条平行过的分割线上)