吃瓜第五弹——支持向量机（一）

        由于笔者没学过最优化的相关内容，对SVM的内容理解较为吃力，所以这部分内容分两次进行学习。

 1 间隔与支持向量

        我们总是希望，在样本空间中找到一个超平面，把不同类别的样本分开。从“直觉”上讲，两类样本“最中间的”划分超平面最佳，其鲁棒性好，泛化能力强。

        

        例如图中这个红色的超平面，离两类样本的距离都是最远的。

        我们需要怎样求解这个超平面（在二维空间中超平面是一条直线），只需要确定其法向量和位移项就行了。

 

        由于任意点到该超平面的距离为

 

         如图，两个超平面的方程如图，位于超平面的训练样本点称为“支持向量” ，两个异类支持向量之间距离叫“间隔”，我们希望间隔最大。

        则有如下的优化问题

 

        其约束条件为

         

        将目标函数取倒数，就变为最小化问题，此时就是SVM的基本型。

2 对偶问题

        我们使用拉格朗日乘子法得到其“对偶问题”。

        由SVM的基本型，我们可以得到如下的拉格朗日函数：

        通过求偏导置零，并带入上式，得到对偶问题

 

        有如下的约束条件

 

 

         以上就是我SVM第一次的学习内容，等我学习最优化的知识之后，我会重新根据我的理解来写这一篇笔记！