第18课：SVM——线性可分 SVM 原理

注意：从今天开始，我们的学习之旅进入了一个新的阶段。

之前我们讲过的几个模型：线性回归、朴素贝叶斯、逻辑回归和决策树，其背后数学原理的难度属于初级。而接下来要讲的 SVM 和 SVR 则上升到了中级。

在下面的 7 篇课程中，我们将不会再看到可爱、搞笑的图片和轻松的调剂，而要一步步剥离清楚 SVM/SVR 的出发点与运作过程。

线性可分和超平面

二分类问题

在机器学习的应用中，至少现阶段，分类是一个非常常见的需求。特别是二分类，它是一切分类的基础。而且，很多情况下，多分类问题可以转化为二分类问题来解决。

所谓二分类问题就是：给定的各个样本数据分别属于两个类之一，而目标是确定新数据点将归属到哪个类中。

特征的向量空间模型

一个个具体的样本，在被机器学习算法处理时，由其特征来表示。换言之，每个现实世界的事物，在用来进行机器学习训练或预测时，需要转化为一个特征向量。

假设样本的特征向量为 n 维，那么我们说这些样本的特征向量处在 n 维的特征空间中。

注意：我们在前几课中经常会用某个欧几里得空间（一般是二维或三维）来描绘样本的特征向量和最终标签之间的关系。例如在一个二维的坐标系中，用 Y 轴对应的值表示标签，用 X 轴对应的值表示1维的特征向量。

此处我们说的 n 维，则仅仅限于特征向量自身的维度。如果对应到最早线性回归中工资和工作经验关系的例子里，该例子的特征空