支持向量机

一、支持向量机

二类分类模型，定义在特征空间上间隔最大的线性分类器。

二、线性可分支持向量机

感知机利用误分类最小策略，求得分离超平面，这时的解有无穷多个。线性可分支持向量机利用间隔（几何间隔）最大化求最优分离超平面，解唯一。

函数间隔：y(wx+b); 超平面关于某个点的函数间隔；超平面关于训练数据的函数间隔（所有点的最小值）。

几何间隔：标准化的函数间隔

三、线性支持向量机

软间隔、合页损失函数、加了松弛变量

四、核函数与非线性支持向量机

核函数：当输入空间为欧式空间或离散集合，特征空间为希尔伯特空间时，核函数表示将输入从输入空间映射到特征空间（希尔伯特空间）得到的特征向量之间的内积。

核技巧：通过使用核函数可以学习非线性支持向量机，等价于隐式地在高维特征空间中学习线性支持向量机。

通常的核函数是指正定核函数，对应Gram矩阵为半正定。

常用核函数：

1. 多项式核函数

2.高四核函数——高斯径向基函数分类器

3.字符串核函数