支持向量机(SVM)

简介

如果我们有两个数据,要让你画一根直线你需要怎么划分他们呢?

上面画了三根直线来划分它,那如果是高纬度呢?

怎么用高于三个维度的 超维度平面来区分这些呢?

原理介绍

我们用二维数据来介绍一下,因为区分二维数据的方法有很多,就像我们上一个章节把两类划分,用了蓝色,红色,绿色,但是他们的间隔差距就不一样.(就如这个下面的图)

这个间隔的正中,就是我们的决策边界.当有数据需要判断的时候,我们就根据它的相对决策边界的相对位置,来进行判断分类.
将 边界上下移动C的距离,由于上下边界一定会经过一些样本数据点.它们的距离就决定了间隔距离,我们称它为支持向量

根据上面的方差有:

设下面的参数:

然后带入原方程:

然后可以将这些参数(W1^,, W2^,W3^, )换成新的参数

然后可以有正超平面,负的超平面,决策超平面

这样我们就可以用决策超平面的位置进行分类.

目的就是最大化正负超平面的间隔距离L,

选中两个点一个是负超平面的点,一个是正超平面的点,上图的黄点和绿点

得到等式 4

又选择Xp 和Xo ,带入直线,相减

可以得到等式(红框里的)

上面的公式4可以推导成如下

他的意思就是 他们是相互垂直的,然后我们看下面的图

然后我们得到了这个公式:

我们现在要求||W||的最大值

然后哪些点在图上是有约束的,然后我们用拉格朗日求最大值


然后就可以求解… 后面就是一些 求最大值的方法了.

损失因子

因为可能会有几个噪音点,我们是否把噪音点去掉,进行损失因子

这样就给了一些容错率,在间隔距离和错误大小间找到了一个平衡.(这里的距离被称为软间隔)

核方法

就是在低的平面也许数据无法区分,但是到了高平面则可以区分,那我们就可以将数据进行提升维度

但是你要想到维度转化函数和跟多的空间

高斯核函数