[机器学习] 支持向量机1——间隔和支持向量

支持向量机1——间隔和支持向量

支持向量机2——对偶问题

支持向量机4——引入松弛因子

支持向量机3——SMO算法

间隔和支持向量

给定训练样本集D= { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } , y i ∈ { − 1 , + 1 } \left\{(x_1, y_1),(x_2,y_2),...,(x_m, y_m)\right\},y_i∈\left\{-1, +1\right\} { (x1​,y1​),(x2​,y2​),...,(xm​,ym​)},yi​∈{ −1,+1}。分类学习最基本的思想就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开，但是能将训练样本分开的划分超平面可能有很多，哪一个是最好的呢？

直观上看，应该取找位于两类样本“正中间”的划分超平面，即$B_1$，因为该划分超平面对训练样本局部扰动的“容忍”性最好。例如，由于训练集的局限性或噪声的因素，训练集外的样本可能比上图中训练样本更接近两个类的分割界，这将使许多划分超平面出现错误，而$B_1$的超平面受影响最小。换言之，这个划分超平面所产生的分类结果是最鲁棒的，对未见的示例泛化能力最强。

在样本空间中，划分超平面可通过如下线性方程来描述：
$$w^{T}x+b=0$$
下面我们将其记为($\omega$,b)。样本空间中任意点$x$到超平面($\omega$,b)的距离可写成
$$r=\frac{{\omega }^{T}x+b}{||\omega ||}$$

这个公式具体可以用点到直线的距离来解释：点P ( $x_0,y_0$)到直线$Ax+By+c$