支持向量机（SVM）

SVM是典型的二分类器。数据点若是 p维向量，用p-1 维的超平面来分开这些点。可能有许多超平面可以把数据分类。最佳超平面就是以最大间隔把两个类分开的超平面。因此，SVM选择能够使离超平面最近的数据点的到超平面距离最大的超平面。 支持向量是离划分超平面最近的点，两类支持向量和超平面的和为margin，目标是最大化margin。

1.划分超平面$W^{T}x+b=0$，将数据划分为两类。划分超平面有多个，选择泛化能力最好的那个

2.离超平面最近的点位支持向量点，两个异类支持向量点到超平面之和：$r=2/||W||$，要使它最大，那么就是使$||w|{|}^2/2$最小。使用拉格朗日法来求解。

3.对于线性不可分的数据，映射到高维空间。
之前看到有个大神的解释，有点久了，大意如下：桌上有花生瓜子，一巴掌拍桌子，将花生瓜子全部震到空中，在空中找一个平面，分开瓜子和花生。

4.软间隔：允许一些样本不满足约束，增加泛化能力。惩罚项C越小，软间隔越大，越容易欠拟合；C越大，软间隔越小，越容易过拟合。

5.非线性问题（如异或问题映射到高维，维度过高使用核函数），使用核技巧将线性支持向量机推广到非线性支持向量机
核函数：事先进行低维计算，将实质上的分类效果表现在高维上。
线性核：$k(x,y)=x^{T}y+c$ 特征维数高
径向基核函数：$k(x,y)=exp(-y||x-y|{|}^2)$
高斯核函数：$k(x,y)=exp(-||x-y|{|}^2/2{\delta }^2)$ 样本数量可观、特征少
拉普拉斯核函数：$k(x,y)=exp(-||x-y||/\delta )$

6.实现多分类：
例如a，b，c，d四类
（1）a与其他分类，b与其他分类，c与其他分类，d与其他分类。
优点：一共n个分类器，速度快。
缺点：分类重叠；遇到不可分类的数据，会出现数据倾斜。
（2）a与b分类，a与c分类，a与d分类…
优点：无不可分类的数据
缺点：需要$n(n-1)/2$个分类器；分类重叠。
（3）DAG SVM：有向无环图

优点：调用$n-1$个分类器，速度快；无不可分类和分类重叠。
缺点：如果分类从根节点那里就出错，后续也就无法正确分类。