浅析支持向量机SVM

　　前文讲线性回归时，提到了两个准则：感知器准则和最小平方误差准则。简单归结为$w^t*x>0和w^t*x>b$，这样确定的解是很多的，因此存在解区域。而我们想再增加些约束，找到一个更好些的解，这就到了SVM算法。SVM算法是寻找划分样本的两个极端情况超平面的中间超平面，实现分类目的。

SVM的直观介绍

　　如下图，中间的红色颜色分界线即为我们要找的判决界限。
　　

　　也就是找到两条边界或者极端划分边界的中间的最大间隔。

几个问题的解释

　　1. 如何定义间隔。
　　2. 为什么用几何间隔。
　　3. 两个边界怎么找的。
　　4. 如何求解参数。

间隔用什么指标呢？

　　间隔用几何间隔来衡量。什么是几何间隔呢？
　　线性判别中用的是带方向的几何距离（点$x$到超平面$g(x)=w^t*x+w_0=0$的距离）$r=\frac{g(x)}{||w||}$；
　　几何间隔为$\gamma=\frac{|g(x)|}{||w||}$
　　几何间隔的优点：不会随着$w和w_0$的缩放而变化，只与超平面的位置有关。
　　函数间隔：$\widehat{\gamma}=y*g(x)=|g(x)|$；$y$是类别，正负表示。函数间隔与几何间隔相比，只是比例$||w||$的差距，且会随着参数$w和w_0$的变化而缩放。

为什么用几何间隔？

　　我们期望中间的间隔越大越好，这个间隔最好只与两个边界超平面的位置由关系，而与其他无关。函数间隔会随着参数的缩放而变化，而几何间隔则不用担心缩放的问题，只与位置有关。因此用几何间隔来衡量间隔是合理且合适的。

怎么找两侧边界

　　* 为什么两个边界是$w^t*x+b=+1$和$w^t*x+b=-1$呢？正负一是怎么来的？*
　　现在只关心间隔的大小。
　　则每个样本的到分界面的距离就变为 γ(i)=y(i)∗(wt∗x+w0||w