机器学习算法（三）：基于支持向量机的分类预测

间隔与支持向量

在处理二分类问题时（y=｛-1，1｝），对于给定的训练集我们为了将其分类，很自然的想法就是在样本空间上找到一个划分超平面，好比在空间上竖起一块宽无限小的挡板，一边都是样本-1，而另一边则都是样本1。
划分超平面可以通过线性方程来描述：
$${\omega }^{T}x+b=0$$
但是超平面的位置又该如何确定，紧贴样本-1，远离样本1也可以将两样本划分开，但是这样泛化能力就会变差，所以我们将超平面的位置确定在两类训练样本的正中间。
所以样本空间中任一点x到超平面（$\omega$,b）的距离可写为$$r=\frac{|{\omega }^{T}x+b|}{||\omega ||}$$
$$||\omega ||=\sqrt{{\omega }_1^2+{\omega }_2^2+{\omega }_3^2.....{\omega }_n^2}$$
我们将两个异类支持向量到超平面的距离之和为
$$\gamma =\frac{2}{||\omega ||}$$
它被称为“间隔”（margin）。
所以目标是:
$$Ma{x}_{\omega ,b}\frac{2}{||\omega ||}$$
$$s.t.y_i({\omega }^T{x}_i+b)>=1,i=1,2,...,m.$$
即$$Mi{n}_{\omega ,b}\frac{1}{2}||\omega |{|}^2$$