机器学习——Support Vector Machines支持向量机模型

学习目标：
1·了解什么是Support Vector Machines；

Introduction：

首先明确，支持向量机模型是解决分类问题的非常好的一个工具。
为了方便理解，我们给出如下实例：

在上图中有两组不同的散点，如果我们要去判断某一个点属于粉色还是蓝色，我们的判断依据是什么？
首先可以想到，通过分割平面的方法把平面分成两部分，这些点落在哪一个平面就属于哪一类。那么问题又来了，我们如何去确定这一条线呢？在下图中我画出了三条直线，应该选择那一条呢？

当然，我们目测最理想的划分标准应该为中间的灰色线。我们接下来仔细分析一下：

我们在画这条线的时候，希望对于两组散点是“公平的”。如上图所示，我们希望在左右平移这条分割线的时候，到两组散点的距离是一样的，也就是希望中间的“间隔”是最大的。那么这个距离又是由什么决定的呢？是由上图圈出的这些点所决定的。我们把这些点称为：Support Vectors（可以理解为是这些点支撑着这条线不在左/右移动，用来确定边界的。）

我们可以通过画直线来解决上述问题，但是下图这种情况又应该怎么处理呢？

有人可能要说了，这种情况直接画个圆不就解决了。但是让计算机计算出一个圆是十分费时、复杂的一件事，我们希望这个分割标准越简单越好，就像直线一样是线性的分类准则！回想一下第一个问题，我们是不是用一维的直线把二维的平面分成两个。那么我们可以用二维平面去分割三维物体吗？可以用九维”平面“去分割十维物体吗？答案是可以的，我们把上述”平面“称为：超平面。
支持向量机模型就是用来解决这种问题的，他的核心思想是：在低维中线性不可分的”东西“，将其按照一定的投影规则投影到更高维度，也许就线性可分了。而在高维中找到的分割标准（可分依据）再通过相应的投影规则，将其投影回低维。 便找到了最简单的分割标准。我们通过如下实例理解：

左图中，我们发现这些点在二维中是线性不可分的。但是我们把他按照一定的投影规则，投影到三维中去，如右图。这时，我们就可以找到一个平面使得这些点是线性可分的。

OK，我们已经找到了。现在只需要把这个平面再投影回到二维中去，我们就找到了这个分割标准。（如上图所示）

投影法则：

我这边简单的列出来三个常用的投影法则。

当然，在使用Support Vector Machines 的时候还有很多细节得注意，比方说超参数等。因为尤其重要，所以我会专门写一篇关于SVM的代码注意事项。所以，今天的介绍就只是初步的了解了一下SVM的核心原理…