周志华《机器学习》(西瓜书) —— 学习笔记：第6章 支持向量机

---

6.0 学习导图

---

6.1 基本流程

  给定训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } ， y i ∈ { − 1 , + 1 } D=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(\boldsymbol{x}_{2}, y_{2}\right), \ldots,\left(\boldsymbol{x}_{m}, y_{m}\right)\right\}，y_{i} \in\{-1,+1\} D={ (x1​,y1​),(x2​,y2​),…,(xm​,ym​)}，yi​∈{ −1,+1} ，在样本空间中找到一个超平面，将不同类别的样本分开。

  在样本空间中，划分超平面可通过如下线性方程描述：

$${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0\text{\hspace{1em}(6.1)}$$

其中 $\mathbf{w}=\left(\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_d\end{array}\right)$ 为法向量，决定超平面的方向， $b$ 为位移项，决定超平面与原点之间的距离。将超平面简写为 $(\mathbf{w},b)$ 。样本空间中任意点 $\mathbf{x}$ 到超平面 $(\mathbf{w},b)$ 的距离为

$$r=\frac{\left|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right|}{\Vert \mathbf{w}\Vert }\text{\hspace{1em}(6.2)}$$

证：从点 $\mathbf{x}$ 向超平面 $(\mathbf{w},b)$ 做垂线，垂足为 ${\mathbf{x}}_0$ ，令 $\mathbf{r}=\mathbf{x}-{\mathbf{x}}_0$ ，则 $r=\Vert \mathbf{x}-{\mathbf{x}}_0\Vert$ ，显然， $\mathbf{w}$ 平行于 $\mathbf{r}$ ，故有

$$|{\mathbf{w}}^{\mathrm{T}}(\mathbf{x}-{\mathbf{x}}_0)|=|{\mathbf{w}}^{\mathrm{T}}\mathbf{r}|=|\mathbf{w}\cdot \mathbf{r}|=\Vert \mathbf{w}\Vert \Vert \mathbf{r}\Vert =\Vert \mathbf{w}\Vert r$$

又 ${\mathbf{x}}_0$ 在超平面上，故有

$${\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_0+b=0$$

所以

$$|{\mathbf{w}}^{\mathrm{T}}(\mathbf{x}-{\mathbf{x}}_0)|=|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}-{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_0|=|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b|$$

联立，可得式(6.2)

  假设超平面 $(\mathbf{w},b)$ 能将训练样本正确分类，即有

{ w T x i + b > 0 , y i = + 1 w T x