【《机器学习》第6章支持向量机】间隔与支持向量+对偶问题+核函数+软间隔与硬间隔

线性分类器回顾

在一个线性分类中，我们可能会拟合出多条直线来完全区分样本类别，但是这些直线中有没有好坏呢？

答案是肯定的。

间隔与支持向量

• 支持向量：距离超平面最近的样本点（可能是两个或者多个）。
• 间隔：两个异类 支持向量到超平面的距离之和 。

支持向量机就是寻找具有最大间隔 的超平面。

间隔方程

见课件例题

优化问题的类型

无约束优化问题

求解方法：求取函数 $f(x)$ 的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数，可以保证是最优解。

有等式约束优化问题

即把等式约束 $h_i(x)$ 用一个系数与 $f(x)$ 写为一个式子，称为拉格朗日函数，而系数称为拉格朗日乘子。通过拉格朗日函数对各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优值。

既有等式约束又有不等式约束优化问题

把所有的等式约束、不等式约束与 $f(x)$ 写成一个式子，这个式子也叫拉格朗日函数，系数也称为拉格朗日乘子，通过一些条件，可以求出最优值的必要条件，这个条件就称为 KKT条件。

对偶问题

解的稀疏性

解的稀疏性 ：训练完成后，最终的模型仅与支持向量有关！

软间隔与硬间隔

• 硬间隔：所有的样本都满足约束条件
• 软间隔：允许一定量的样本不满足约束条件

核函数

如果在一个二维平面上有【（0，0），（0，1），（1，0），（1，1）】，其中【（0，0），（1，1）】属于一类，【（0，1），（1，0）】属于另外一类，那么我们用支持向量机就不能进行划分。那我们该怎么做呢？

数学上可以证明，如果原始空间是有限维，即属性数有限，则一定存在一个高维特征空间使样本可分。将样本从原始空间映射到一个更高维的特征空间 , 使样本在这个特征空间内线性可分。

核函数在这里的作用是将样本数据扩展到高维。

每一个核函数都隐式的定义了一个特征映射函数。

这个时候设计核函数就成了决定支持向量机性能的关键！