svm(支持向量机)-入门理解（一）

本部分内容仅作为个人学习期间的笔记使用，所有的信息来源于B站：BV16T4y1y7qj

支持向量机-Support Vector Machine

一、引例

下面通过一个引例来引出支持向量机的概念：

在一个二维平面中，存在着这些数据点，那么如果我们用一条直线来区分这两类（不同颜色）的数据点，并且当有新数据进来时我们要这条线判断他们属于哪一类数据，我们可以有几种画直线的方法呢？显然方法是非常的多的，例：

上述三条直线都可以完成区分两类数据点的要求，同时类似的划分方法可以进一步延伸到我们如何用一个二维平面区分三维空间的数据，也可以再进一步推演到高维空间中。

那么上述问题就可以归纳为：为了区分两类维度的数据，N为数据的样本数，M为数据的维度数，ji及如何设计一个维度为M-1的超平面：

 W可以理解为X对应的权重，接下来将以二维空间为例进一步解释。

分割线，称之为决策边界（Decision Boundary）：

先看第一种画法：

 那么这种画法存在什么问题呢？两侧的数据都有数据点离边界特别接近，这导致了这种画法非常危险，当有新的数据同样接近该直线时会大大增加分类错误的概率。

下面我们来看另外一种画法：

 

 这种画法，两侧的数据点都与决策边界保持了一定的距离，这个距离就起到了缓冲区的作用。当这个缓冲区足够大时，分类结果的可信度就会增加，我们把这个缓冲区称之为间隔（Margin），间隔距离可以体现出数据差异的大小，因此寻找最佳决策边界线的问题可以转化为寻找最大间隔的为题。而间隔的正中就是我们的决策边界线。

当有新数据需要分类时，根据他处于决策边界的相对位置我们就可以进行分类了。

 假设决策边界的对应方程为w1x1+w2x2+b=0，将其上下移动c来到对应的间隔上下边界。上下边界一定会经过某些数据点（例如图例中上下边界经过的黄蓝小点）他们离决策边界最近，他们决定了间隔距离，我们称他们为支持向量（Support Vector）这也是为什么该方法称之为支持向量机。

将方程式两边同时除以c得到新方程，又由于w’，b’只是需要求解的代号，所以将其换为w，并不影响结果，最终 转换为求解w，b。

 

如果出现下述情况，有一个异常点，如果我们根据这个异常点而调整间隔，则会使间隔距离大大缩短，相反，如果忽略这个异常点，则会有比较充裕的间隔距离。

这里我们需要引入损失因子这个概念，那些违背规则的异常点都会有对应的损失值，最优解下形成的间隔称之为软间隔（Soft Margin）目的是在错误大小跟间隔距离之间找到一个平衡：

 而之前推导出的间隔称之为硬间隔（Hard Margin）。

升维转换和核技巧（Kernel Trick）：

在下述例子中，我们无法通过一条直线将数据点分开：

 但如果我们进行升维转换增加一个新维度的话就可以用超平面进行区分：

 那么，对于那些在低维状态下无法合适划分的数据我们就可以采用升维的方法，即首先通过合适的升维函数将低维数据升维，然后在高纬度下求解SVM模型找到对应的分隔超平面。

 

不过数据升维需要明确的维度转换函数，以及更多的数据存储需求，那么有没有一种方法既可以实现相应的分类效果，又可以避免将数据送入高纬度呢，这里介绍了核技巧，由于SVm的本质是量化两类数据差异的方法，而核函数能够提供高纬度向量相似度的测量，通过选取合适的核公式，即可不用知道具体的维度转换函数而直接获取数据高纬度的差异度并以此来进行分类。

本文章所有内容只作为本人学习过程中的笔记使用。