SVM（一）

1.SVM是解决分类问题的经典算法

2.SVM核心三个关键词：间隔、对偶、核技巧

3.SVM一共三种情形：硬间隔分类器、软间隔分类器、核映射分类器

4.硬间隔分类器的目标是最大化边缘距离

5.目标最终可以转化为带线性不等式约束的二次凸优化问题，这个也称为原问题

6.最终利用强对偶与KKT条件来求解模型

7.非边缘点已经被正确分类(λ=0)，对模型参数真正起作用的，只有边缘点

8.与决策平面保持边缘距离的两个超平面上所有的向量称为支持向量

9.通常取在支持向量的所有样本点均值作为参数b*的解

SVM，全称是Support Vector Machine，中文名支持向量机，是解决二分类问题的一个经典算法。

总结来说，支持向量机核心的三个关键词：间隔、对偶、核技巧。该算法一共分三种情形：硬间隔支持向量机、软间隔支持向量机和核映射支持向量机，前两者对应线性可分模型、第三个对应线性不可分模型。

本文从最简单的情形开始介绍——硬间隔支持向量机（hard-margin SVM）

注：基础知识约束优化问题（SVM预备知识）

场景导入

给定一批训练样本，假设样本的n维特征向量为x，类别标签为y，取值为+1或者-1，分别代表正样本和负样本。

我们希望能找到一个超平面，将正负样本分开，这样这个超平面就是我们要找的分类器。如图:

可见,超平面l1可以把这正负类分开，显然这是我们要找的超平面，但是仔细想，我们可以找到无数个超平面，将正负样本分开，比如l2,l3