支持向量机数学原理推导

将支持向量机转换为数学模型，推导其计算过程，其中主要的步骤概括如下：

1.分类超平面的概念

2.间隔和几何间隔之间的区分

3.求解目标为，正负例中距离分类超平面最近的几何距离最大化，使得分类最可靠，对噪声的适应性更强，求解过程中，往往固定间隔为1，求几何间隔1/||W||的最大值，即最小化||W|。

4.要求所有样品与分类超平面的间隔大于设定好的固定间隔（即为1），形成最小化||W||时的约束条件（不等式），将约束转换成<=0形式

5.满足KKT约束条件，构造关于W和a的拉格朗日函数，a为拉格让日乘子，a>=0，a乘以约束函数=0（敲公式太麻烦了，推导过程中有详细写出）

6.将原问题转换成其对偶问题，更好求解（需满足上述所述的一系列条件才可）

7.固定a,求目标函数最小值对应的W（可用a表示）

8.将W用a表示代入原拉格朗日函数中，转换成仅与a有关的函数，求解目标函数最大值时的a（用到SMO算法，推导过程没有具体写出）

9.将a带回W的表达式中，求得W。

10.根据截距或者约束条件求得b，训练过程完成。

PS：最终模型仅与对应拉格让日乘子ai大于0的样品（即支持向量）有关，ai=0的样品对模型没有影响

推导过程如下图：