机器学习入门（十三）：SVM——线性可分 SVM 原理

之前我们讲过的几个模型：线性回归、朴素贝叶斯、逻辑回归和决策树，其背后数学原理的难度属于初级。而接下来要讲的 SVM 和 SVR 则上升到了中级。
在下面的几 篇中，我们将不会再看到可爱、搞笑的图片和轻松的调剂，而要一步步剥离清楚 SVM/SVR 的出发点与运作过程。

线性可分和超平面

二分类问题

在机器学习的应用中，至少现阶段，分类是一个非常常见的需求。特别是二分类，它是一切分类的基础。而且，很多情况下，多分类问题可以转化为二分类问题来解决。

所谓二分类问题就是：给定的各个样本数据分别属于两个类之一，而目标是确定新数据点将归属到哪个类中。

特征的向量空间模型

一个个具体的样本，在被机器学习算法处理时，由其特征来表示。换言之，每个现实世界的事物，在用来进行机器学习训练或预测时，需要转化为一个特征向量。

假设样本的特征向量为 n 维，那么我们说这些样本的特征向量处在 n 维的特征空间中。

注意：我们在前几课中经常会用某个欧几里得空间（一般是二维或三维）来描绘样本的特征向量和最终标签之间的关系。例如在一个二维的坐标系中，用 Y 轴对应的值表示标签，用 X 轴对应的值表示1维的特征向量。
此处我们说的 n 维，则仅仅限于特征向量自身的维度。如果对应到最早线性回归中工资和工作经验关系的例子里，该例子的特征空间维度为1，而不是2。

一般来说，特征空间可以是欧氏空间，也可以是希尔伯特空间，不过为了便于理解，我们在以后的所有例子中都使用欧氏空间。

直观上，当我们把一个 n 维向量表达在一个 n 维欧氏空间中的时候，能够“看到”的一个个向量对应为该空间中的一个个点。

这样来想象一下：我们把若干样本的特征向量放到特征空间里去，就好像在这个 n 维空间中撒了一把“豆”。

当 n=1 时，这些“豆”是一条直线上的若干点；当 n=2 时，这些“豆”是一个平面上的若干点；当 n=3 时，这些“豆”是一个几何体里面的若干点……

线性可分

现在再想想我们选取特征的目的：我们将一个事物的某些属性数字化，再映射为特征空间中的点，其目的当然是为了对其进行计算。

但是如果这些点在特征空间中就能够对应它们预期的二分类分为两个部分，那不是最理想的情况吗？

比如，我们的特征向量是2维的，下面图中的红蓝两色点都是样本的特征向量，不过红色点对应的是正类，而蓝色点对应的是负类：