支持向量机概述

1.原理：

   最大间隔分类器：

     min 1/2||w||^2        yi(wxi+b)>=1

   写出拉格朗日函数：Lp   不等式约束利用KKT条件。

  线性可分：直接最大化间隔

  线性不可分：加入松弛变量  约束条件放宽  yi(wxi+b)>=1-ei

                          目标函数加入惩罚项（需要设置参数C）

  非线性分类：空间变换（利用核函数 高斯核 线性核）

2.实现：

  参数选择：线性不可分得情况下C的选取（通过交叉验证获得最佳参数，准确度与模型复杂度之间的平衡）

  核函数选择：一般选用高斯核。特征数很大选择线性核。

  高斯核参数选择：高斯核参数决定了模型的复杂程度。需要在偏差与方差之间做一个平衡。