第21课：SVM——线性 SVM，间隔由硬到软

从线性可分 SVM 到线性 SVM

从现实情况引出线性 SVM

前面连续三篇讲得都是线性可分 SVM，这种 SVM 学习的训练数据本身就是线性可分的——可以很清晰地在特征向量空间里分成正集和负集。

线性可分 SVM 正负样本之间的间隔叫做“硬间隔”，也就是说在这个“隔离带”里面，肯定不会出现任何训练样本。

我们不难想到，这种情况在现实生活中其实是很少见的。更多的时候，可能是像下面这个样子：

如果没有红圈里那两个点，本来可以很好的分割：

可是，偏偏多了那两个点！都找不到分隔超平面了！像下图这样，分来分去，怎么都分不开：

如果我们不那么“轴”，不是完全禁止两个辅助超平面之间有任何样本点。而是允许个别样本出现在“隔离带”里面，那样是不是会变得好分得多？比如像下面这样：