周志华 西瓜书 第四章 支持向量机

5.1 支持向量机基本型

线性分类回归：在样本空间中寻找一个超平面，将不同类别的样本分开。

间隔Margin与支持向量Support Vector

超平面方程等于1的超平面 距离方程等于0 的距离是 1/||w||, 正例=1到反例=-1方程的距离就是 2/||w||。
距离超平面的距离越远，这个分类的超平面把握是最大的。

约束的意思：默认所有的点在+ - 1 之外。
我们习惯解决最小化问题，将最大转化成最小。
凸二次规划问题
将训练样本分开的超平面仅由支持向量决定

5.2 对偶问题与解的特性

通过拉格朗日乘子法可以得到支持向量机的对偶问题


最后解只和间隔上的点有关。

• 对偶问题需要满足KKT条件
• 通过对偶问题推导出的模型表达式能够体现解的稀疏性
• 对偶问题的最优值是原始问题最优值的下界