统计学习之SVM

在学习机器学习之前，最好先去补充下线性代数部分知识。包括矩阵求导，矩阵的相关运算。（https://blog.csdn.net/u010976453/article/details/54381248；https://blog.csdn.net/u010976453/article/details/54342895

SVM

分类超平面： 。

y为分类标签，大于0的点对应 y=1 的数据点，小于0的点对应y=-1的点。即。

空间中任意样本点到超平面的距离为： （点到直线距离推导见计算点到直线距离）

不妨令：

                                               

所谓的支持向量，就是使得上式等号成立，即最靠近两条虚边界线的向量。那么，不难理解当 的值大于+1，或小于-1的时候，就更加支持“样本的分类”了。为什么要这么令呢？还是为了计算方便。为了找到这个超平面离两类样本都足够远，也就是使得“间隔”最大。即最终确定的参数,使得最大。即

                                    （1）

等价于

                                         （2）

其对偶问题为（拉格朗日乘数法）：

                                   （3）