对支持向量机的数学推导（个人理解的内容）

支持向量机可谓是机器学习道路上的第一个拦路虎，不仅证明复杂，而且很多入门资源也并不适合新手，本人足足花了半个多月的时间，才对整体的数学推导有了一些掌握，写个博客，加深记忆。文章有什么不好理解的请提交评论。

提前说明

下面的截的图里w（带T上标的）跟正文中的w都表示法向量。

1. 什么是支持向量机

       支持向量机是机器学习领域的一种分类算法，通常用来解决二分类问题。

2. 核心思想

       以简单的二分类为例，传统的分类器，比如感知器、逻辑回归都是找一个超平面将正例与反例分开。支持向量机也是如此。
       但有一点不同，支持向量机除了能找到超平面分开正反例，还能保证该超平面是最好的分界面，如下图，
       下面三条线哪一条能最好地将正反例分开，显然是中间的蓝线，因为数据集的局限性和难以避免的噪声因素，训练集外的样本可能比图中的样本更靠近中间，中间的蓝线比其他两条线更难受此影响。
       因此，这也是支持向量机要解决的核心思想，找到最优的超平面来分割样本。

3. 如何找到这样的最优超平面

       首先，我们给出表示超平面的线性方程：
       
       （这里的w表示法向量，控制超平面的方向；b表示截距，控制超平面到原点的距离。）
       为了找到这样一个超平面，我们要让离他最近的样本点到超平面的距离尽可能地大。因此首先我们需要一个点到超平面的距离的表示方法。

函数间隔的定义

       先给出函数间隔的定义，后面要用到。通常的，一个点距离超平面的远近可以表示分类预测的确信程度，在超平面wx+b=0确定的情况下，|wx+b|能相对表示样本点x到超平面的远近。而预测值wx+b的符号和真实标记y的符号是否一致表示分类是否正确，可用y(wx+b)表示分类的正确性和确信度，这就是函数间隔的概念。

       但函数间隔并不是一个确定的值，不能用来表示点到超平面的距离。比如把w和b放大到2倍，2*(wx+b)=0，还是原来那个超平面，但函数间隔|2*(wx+b)|却扩大了两倍。
       因此要引入几何间隔的公式，
       
       几何间隔的大小不会受到w和b缩放的影响，因为下方的||w||也会等比例缩放，跟上面的抵消了。

       接下来，我们要做的就是找一个超平面，使离超平面最近的点到超平面的距离尽可能大。（这些点被称为支持向量）
       显然正例和反例支持向量到这样一个超平面的距离是相等的，我们把这个距离设为R。还记得前面说的超平面不变的情况下，函数间隔可以任意缩放吗？因此我们索性直接把R缩放到1，这样求起来也比较方便。
       对于每一个样本点，他的每一个正确的样本点一定是分布在支持向量两端的。（wx+b>=+1;或者wx+b<=-1;）
       把满足wx+b>&