【机器学习笔记七】 支持向量机

一、基本定义

支持向量机是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。它和感知机很像，与感知机最大的不同点是感知机可以有很多个分离超平面，但是支持向量机只有一个最大间隔的分离超平面。

线性可分支持向量机可以理解为能将数据正确划分并且间隔最大的直线。

二、支持向量机的三个模型

1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机。

2）当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机。

3）当训练样本线性不可分时，通过核技巧和软间隔最大化，学习一个非线性支持向量机。

三、函数间隔&几何间隔

一般来说，一个点距离分离超平面的远近可以表示分类预测的确信程度。

函数间隔：用y(w·x+b)来表示分类的正确性及确信度。

如果我们成比例地改变w和b的值，超平面并不会改变，因此可以对分离超平面的法向量w施以约束，如||w||=1，使得间隔确定，这时函数间隔变成几何间隔。

函数间隔存在缺陷，因此一般使用几何间隔，不用函数间隔。

四、支持向量

在线性可分的情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例。支持向量可以有多个，作用是支持感知机找到最大间隔超平面成为支持向量机。

SVM尝试寻找一个最优的决策边界，目标是最大化间隔，提高抗干扰能力。

五、支持向量机最优化问题：

六、软间隔

线性不可分意味着某些样本点不能满足间隔大于等于1的条件，样本点落在超平面与边界之间。此时我们可以对每个样本点引入一个松弛变量 ξ i≥0，使得间隔加上松弛变量大于等于1。

此时目标函数由1/2||w||2 变成：

C>0称为惩罚参数，C值大时对误分类的惩罚增大，C值小时对误分类的惩罚减小

线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，为了解决在非线性模型问题，可以修改硬间隔最大化，变成软间隔最大化（使用一条椭圆曲线将它们分开）。

这种情况的解决方法就是：将二维线性不可分样本映射到高维空间中，让样本点在高维空间线性可分，而核函数就是映射的乘积。

核函数的作用：一方面减少了计算量，另一方面也减少了存储数据的内存使用量。

常用的核函数：