我理解的支持向量机,就是找到个超平面,将样本空间划分为两类,并使得距离超平面最近的点尽可能远。基于数据集中某几个样本点就能找到这样的超平面,这些样本点称为支持向量。如果只是简单划分为两类,下图中5条线都可以,但如果满足最优划分,只有粗线满足了。
超平面满足线性方程
ωTx+b=0
任意点到超平面的距离为
两个异类支持向量到超平面的距离之和为
被称为间隔。我们的目标是找到使间隔最大的划分超平面。即满足下式
为了优化方便可以等价为
对上式使用拉格朗日乘子法得到其对偶问题,在强对偶优化的前提下,对偶问题的最优解就是原问题的最优解。那么我们可以通过求解对偶问题
解出α,ω和b,可以得到模型
但如果样本空间不是线性可分的,我们需要将其映射到更高维空间,使得在高维空间内线性可分。如果原始空间是有限维的,那么总是能找到一个高维特征空间线性可分。
我们做x到Φ(x)的映射后,优化方程的对偶问题成为了下式