SVM

支持向量机。我还没法完全的理解其中的数学推导过程，先留着，以后补上。

1、线性可分支持向量机

分离超平面：                  

分类决策函数：              

线性可分支持向量机的最优解存在且唯一。位于间隔边界上的实例点为支持向量。最优分离超平面由支持向量完全决定。

2、线性支持向量机

分离超平面：                  

分类决策函数：              

线性支持向量机的解唯一但不一定唯一

支持向量可在间隔边界上，也可在间隔边界与分离超平面之间，或者在分离超平面误分一侧。最优分离超平面由支持向量完全决定。

线性支持向量机学习等价于最小化二阶范数正则化的合页函数

3、非线性支持向量机

对于输入空间中的非线性分类问题，可以通过非线性变换将他转化为某个高维特征空间中的线性分类问题，在高维特征空间中学习线性支持向量机。

是一个核函数，存在一个从输入空间X到特征空间H的映射，对任意x,h X，有

                                                         

分类决策函数：

          

4、SMO算法

不断地将原二次规划问题分解为只有两个变量的二次规划子问题，并对子问题进行解析求解，直到所有变量满足KKTT条件为止。