机器学习---支持向量机(1)

1.简单问题描述

支持向量机解决的问题就是找到一个最优的超平面将训练样本分开！最优的就是这个超平面距离每类训练样本距离是等距的。理由：“鲁棒性”最好，泛化能力最强。

超平面：简单来说超平面就是平面中的直线在高维空间上的推广，总之在n维空间中的超平面是n-1维的。

2.间隔和支持向量

  超平面方程：；其中，W=(W1,W2,...，Wd)为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点的距离，显然，划分超平面可被法向量和位移项来决定，下面我们将其定义为（W,b）。样本空间到超平面(W,b)的距离可以写成：

                 r=(|W^T x+b|)/(||W||)     ;(1)

              ;(2)

假设超平面能将训练集准确分类，即对于(xi,yi) 属于训练集D，若yi=+1,则有    若yi=-1,则有   如上图中，距离训练样集最近的几个训练样本点使公式(2)的等号成立，它们被称为“支持向量机”，两个异类到超平面的距离之和为：

                                    ;(3)

它被称为“间隔”，想要找到最大间隔，就是要找到满足（2）公式中约束参数的w和b，使得（3）值最大，即：

  ；(4)

 显而易见，为了求(3)公式的最大值，仅需最大化||W||-1，这等价于最大化||w||的平方。所以式子(4)改写为：

    ；      (5)

 这就是支持向量机的基本型。

接下来我们就根据拉格朗日乘子法和对偶问题以及二次规划中最有效的方法SMO来求得最终的模型。