机器学习笔记（XIX)支持向量机(I)基本概念

支持向量机（Support Vector Machine）

前提

训练集：

$$D=\left\{(\mathbf{x}_1,y_1),(\mathbf{x}_2,y_2),\dots,(\mathbf{x}_m,y_m)\right\},y_i\in\left\{-1,+1\right\}$$

目标

在样本空间中找到一个超平面，将不同类别的样本分开。

超平面

定义

$$\mathbf{w}^T\mathbf{x}+b=0$$
其中 $$\mathbf{w}=(w_1;w_2;\dots;w_d)=\left(\begin{aligned} \begin{matrix} w_1\\ w_2\\ \vdots\\ w_d\\ \end{matrix} \end{aligned}\right)$$ 为法向量决定了超平面的方向， $b$为位移项，决定了超平面和原点之间的距离。
有了$\mathbf{w}$和 $b$可以唯一确定一个超平面。

点到平面的距离

空间中任意的点$\mathbf{x}$到平面 $(\mathbf{x},b)$的距离可以表示为：

$$r=\dfrac{|\mathbf{w}^T\mathbf{x}+b|}{||\mathbf{w}||}$$

支持向量和间隔

假设超平面$(\mathbf{w},b)$可以将训练样本正确分类：即对于$(\mathbf{x}_i,y_i)\in D$
若$y_i=+1$则由$\mathbf{w}^T\mathbf{x}+b\gt0$
若$y_i=-1$则由$\mathbf{w}^T\mathbf{x}+b\lt0$
令：

$$\left\{ \begin{aligned} \mathbf{w}^T\mathbf{x}_i+b\geq+1,y_i=+1;\\ \mathbf{w}^T\mathbf{x}_i+b\leq-1,y_i=-1;\\ \end{aligned} \right.\tag{A}$$
使得等式 $A$中等号成立的几个训练样本被称为“支持向量”
两个异类的支持向量到超平面的距离之和 $$\gamma=\dfrac{2}{||\mathbf{w}||}$$

支持向量机

要使得分类效果最好，则希望间隔$\gamma$最大

$$\begin{aligned} &\mathop{\max}_{\mathbf{w},b}\dfrac{2}{||\mathbf{w}||}\\ &s.t.\space y_i(\mathbf{w}^T\mathbf{x}_i+b)\geq1,i=1,2,\dots,m.\\ \end{aligned}\\ $$
如果最大化 ${||\mathbf{w}||}^{-1}$则等价于最小化 ${||\mathbf{w}||}^2$
上式等价于：

$$\begin{aligned} &\mathop{\min}_{\mathbf{w},b}\dfrac{1}{2}{||\mathbf{w}||}^2\\ &s.t.\space y_i(\mathbf{w}^T\mathbf{x}_i+b)\geq1,i=1,2,\dots,m.\\ \end{aligned}\tag{prototype}$$
$prototype$就是支持向量机的基本型。