Task 3 基于支持向量机的分类预测

1、支持向量机介绍

1.1 二分类问题延展

首先我们在去了解支持向量机的作用原理之前，我们应该先弄明白支持向量机是解决分类问题的。先前我们在Task1逻辑回归解决二分类问题中，我们在二维情况下，要找到一条线将不同类的样本划分开来。从图中不难看出，仅仅是将两种不同类样本划分开，可以有很多种选择。那究竟哪一种比较好？或者说我们应该如何找出最优的划分曲线。这就是支持向量机要做的东西。

1.2 间隔、支持向量、支持向量机模型

1.2.1 间隔与支持向量

在样本空间中，划分超平面可以用线性方程来表示：$w^{T}x+b=0$。这个超平面完全由w（$w=(w_1;w_2;w_3;...;w_d)$）和b来决定，其中w为超平面的法向量，b为位移项。
我们再考虑用逻辑回归进行分类时，我们将$z>0$时，令$y=0$；$z>0$时，令$y=1$。参考于此，我们同样方法得到下列式子$\{\begin{array}{ll}& w^T{x}_i\ge +1,y_i=+1\\ & w^T{x}_i\le -1,y_i=-1\end{array}$

根据上式，其中$\gamma =\frac{2}{\Vert w\Vert }$（$\Vert w\Vert$是二阶范数，$\Vert w\Vert =\sqrt{w^{T}w}$）被称为间隔，而画红圈的样本是恰好使得上式的等号成立，它们就被成为支持向量。
关于间隔是如何求出来的，是要根据样本空间上的点到超平面的距离公式算出来的。距离公式是：$r=\frac{w^{T}x+b}{\Vert w\Vert }$，推导如下：

我们已经知道$w$是划分超平面的法向量，对于求点$x$到超平面$w^{T}x+b=0$的距离，就是求$\overrightarrow{x{x}_0}$在$\vec{w}$上的投影。
于是，有：
$r=(\vec{x}-\overrightarrow{x_0})\cdot \frac{\vec{w}}{||\vec{w}||}$
$w^T{x}_0+b=0$，代入上式
得： r = w T x + b ∥ w ∥ r=\frac{w^{T}x+b}{\left \| w \right \|}