机器学习小组-SVM

基本概念

将最优决策边界向上&下平移，在遇到第一个点时停下来，这个点被称为支撑向量Support Vector；支撑向量到决策边界的距离是d；这两条平移后的直线的间隔（2d）被称为最大间隔Margin。
支撑向量就是支撑着两条平移边界的点，我们只需要重点研究这几个支撑向量即可，这也是SVM名称的由来；Margin就是分界面可以移动的范围，范围越大表示容错能力越强。
所以我们可以看到，所谓的支撑向量机，最初就是一个线性分类器，只不过这个线性分类器不仅能把样本分对，可以最大化Margin。
到目前为止，我们就将SVM转换为了一个最优化问题，下面的工作就是求出Margin的数学表达式，即将支撑向量机思想转化为数学问题。

软间隔

在线性可分问题中，对于样本点来说，存在一根直线可以将样本点划分，我们称之为Hard Margin SVM；但是（同样线性不可分），有时候会出现不那么完美，样本点会有一些噪声或者异常点