模式识别与机器学习第七章

一、线性支持向量机

1.概念

        样本：

        线性分类器：，

         超平面：

 2.函数间隔

        对于一样训练样本 ，它到确定的超平面的函数间隔为：

        对于训练数据集，它的函数间隔定义为

 

3.几何间隔

 

 4.最优间隔分类器

         给定一个训练集，试图找到一个使几何间隔最大化的决策边界，这表示对训练集的有可信的预测并且对训练数据的良好“拟合”。

问题转换：令，

 5.线性SVM

         输入：线性可分的训练数据集

         输出：判别函数及决策/判别界面

        通过求解如下最优化问题来得到最优分类器的参数

 

        分离超平面:

        判别函数 :

 6.支持向量和间隔

        支持向量：距分离超平面最近的训练样本。

        函数间隔:

        几何间隔:

        间隔: