sklearn svm 调参_SVM（Support Vector Machine）

SVM是一种二元分类模型(当然它也可以处理回归问题)，它通过训练样本寻找分隔两类样本的最优决策边界(超平面)，使得两类样本距离决策边界的距离最远(例如H3)。其中距离决策边界最近的样本称为支持向量(即深色的苹果和香蕉)，支持向量所在的与决策平面平行的平面称为支撑平面(虚线)，支撑平面与决策平面的距离称为间隔(margin)，SVM寻找最优决策边界实际上就是要最大化(最大可信度)两个支撑平面的间隔(决策平面位于两者的中间)。

SVM 模型根据数据集的差异可以分为三种类型：

线性可分 => 硬间隔最大化 => 线性可分SVM

线性不可分(有噪音)=> 软间隔最大化 => 线性 SVM(引入松弛变量和惩罚函数)

非线性可分 => 软间隔最大化 + 核函数 => 非线性 SVM

一、线性可分(硬间隔最大化)

假设决策超平面为: W·X + b = 0

正类支撑平面为: W·X + b = γ

由对称关系可知负类支撑平面为: W·X + b = -γ

由于平面等比例缩放依然属于同一平面, 即 5W·X + 5b = 5 与 W·X + b = 1 是同一个平面

所以前面的假设可以更简洁地表示为(按γ等比例缩放)：

决策平面: W·X + b =0

正类的支撑平面: W·X + b = 1

负类的支撑平面: W·