SVM支持向量机学习

支持向量机（Support Vector Machine）是一种监督学习，对数据进行二分类问题的线性分类器。其中最主要的问题就是计算决策边界。

那什么是决策边界呢？

如图所示，在二维空间下有两类点（红点和黄点），对于这种简单的分类，我们需要找到一条路（注意这里的路是有宽度的），使得离这条路中心线最近的点最远。

什么最近最远，我有点晕？？？！

如图有三条路，任务是选择一条路离最近的点最大，说白了就是让路的宽度最大化。

这是二维情况下的，那么三维，四维，五维呢？

首先，根据点到直线的距离公式，推导出高维的距离计算公式：

怎么理解这个公式呢？

首先假设三维平面上有条直线段<X-X2>,做直线的投影到平面上于X1点。平面的法向量为W。那么可知W*（x1-x2)=0

x到平面的距离为                    （2）

又因为x1在平面X+b=0上，所以x1=-b,带入原式就是公式（1）的结果。

令yi ={+1,-1}，y(x) = ,,当yi=1时，y(xi)>0,当yi=-1时，y(xi)<0,那么绝对值可以去掉。

将X可以放缩为,使得yi*() >=1,

这时优化目标由于yi*() >=1转化为只需考虑，求极大值问题转化为求极小值问题

s.t. yi*() >=1,i=1,.....,m

未完待续。。。