[机器学习]SVM的推导(1)

硬间隔的SVM推导

SVM是机器学习中的一种经典方法，除了硬间隔SVM之外，还包括软间隔SVM，核技巧等SVM的变种，本文主要介绍硬间隔SVM的推导。

假设两类样本点是可以被准确分开的，那么则可以使用硬间隔SVM来进行分类，假设分隔的超平面方程为$w\cdot x+b=0$，则每个样本点$x_{i}$到该超平面的距离为$|w\cdot x_{i}+b|$，如果设定与超平面之间的距离为正的点为正分类，即$y_{i}=+1$，相反负距离的点为负分类，即$y_{i}=-1$，那么可以将样本点到分离超平面的距离表示为$\hat{\gamma}_{i}=y_{i}(w\cdot x_{i}+b)$，这称为样本点到分离超平面之间的函数距离。

令$\hat{\gamma}=min(\hat{\gamma}_{i})$，即为最小函数距离。需要注意到，函数距离$\hat{\gamma}_{i}=y_{i}(w\cdot x_{i}+b)$在$w$和$b$同时增大某个比例倍数时，函数间隔会增大但是超平面不会发生改变，此时便需要将超平面的$w$进行约束，比如令$||w||=1$，我们可以重新定义距离为$\gamma_{i}=y_{i}(\frac{w}{||w||}\cdot x_{i}+\frac{b}{||w||})$，称之为几何距离，令$\gamma=min(\gamma_{i})$，即可以得到$\gamma=\frac{\hat\gamma}{||w||}$。

那么最大化分隔距离的优化问题即可表示如下：

maxw,bγs.t.yi(w||w||