《机器学习》西瓜书第六章 支持向量机（南瓜书辅助）

6.1 间隔与支持向量

对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，且不偏不倚，泛化性能更好。

6.1.1 超平面

对 $n$ 维空间的超平面 $({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$, 其中 $\mathbf{w},\mathbf{x}\in {\mathbb{R}}^n)$ ：

任意点 $x$ 到超平面的距离公式为
$$r=\frac{\left|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right|}{\Vert \mathbf{w}\Vert }$$
【证明】：对于任意一点 ${\mathbf{x}}_0={\left(x_1^0,x_2^0,\dots ,x_n^0\right)}^{\mathrm{T}}$ ，设其在超平面 ${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$ 上的投影点为 ${\mathbf{x}}_1={\left(x_1^1,x_2^1,\dots ,x_n^1\right)}^{\mathrm{T}}$ ，则 ${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$ ，且向量 $\overrightarrow{{\mathbf{x}}_1{\mathbf{x}}_0}$ 与法向量 $\mathbf{w}$ 平行，$r$ 是任意一点到法平面的距离

将法向量与任意一点到超平面的向量相乘

第一种表达：
$$\left|\mathbf{w}\cdot \overrightarrow{{\mathbf{x}}_1{\mathbf{x}}_0}\right|=\left|\Vert \mathbf{w}\Vert \cdot \cos \pi \cdot \Vert \overrightarrow{{\mathbf{x}}_1{\mathbf{x}}_0}\Vert \right|=\Vert \mathbf{w}\Vert \cdot \Vert \overrightarrow{{\mathbf{x}}_1{\mathbf{x}}_0}\Vert =\Vert \mathbf{w}\Vert \cdot r$$
第二种表达：
$$\begin{array}{rl}\mathbf{w}\cdot \overrightarrow{{\mathbf{x}}_1{\mathbf{x}}_0}& =w_1\left(x_1^0-x_1^1\right)+w_2\left(x_2^0-x_2^1\right)+\dots +w_n\left(x_n^0-x_n^1\right)\\ & =w_1{x}_1^0+w_2{x}_2^0+\dots +w_n{x}_n^0-\left(w_1{x}_1^1+w_2{x}_2^1+\dots +w_n{x}_n^1\right)\\ & ={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_0-{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_1\\ & ={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_0+b\end{array}$$
可以得到距离表达式
$$\left|{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_0+b\right|=\Vert \mathbf{w}\Vert \cdot r\Rightarrow r=\frac{\left|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right|}{\Vert \mathbf{w}\Vert }$$

6.1.2 几何间隔

对于给定的数据集 $X$ 和超平面 ${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$ ，定义数据集中的任意一个样本点 $\left({\mathbf{x}}_i,y_i\right)$ ， y i ∈ { − 1 , 1 } , i = 1 , 2 , … y_{i} \in\{-1,1\}, i=1,2, \ldots yi​∈{−1,1},i=1,2,… ，$m$ 关于超平面的几何间隔为
$${\gamma }_i=\frac{y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)}{\Vert \mathbf{w}\Vert }$$

• 正确分类时（几何间隔此时也等价于点到超平面的距离），${\gamma }_i>0$：

  • 正样本在正空间：$y_i=1>0$ ， ${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b>0$
  • 负样本在负空间：$y_i=-1<0$ ， ${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b<0$

• 没有正确分类时，${\gamma }_i<0$：

  • 正样本在负空间：$y_i=1>0$ ， ${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b<0$
  • 负样本在正空间：$y_i=-1<0$ ， ${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b>0$

对于给定的数据集 $X$ 和超平面 ${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$ ，定义数据集 $X$ 关于超平面的几何间隔
为：数据集 $X$ 中所有样本点的几何间隔最小值
$$\gamma =\underset{i=1,2,\dots ,m}{\min }{\gamma }_i$$

6.1.3 支持向量机

模型：给定线性可分数据集 $X$，支持向量机模型希望求得数据集关 $X$ 于超平面的几何间隔 $\gamma$ 达到最大的那个超平面，然后套上一个 $\mathrm{sign}$​ 函数实现分类功能

$$y=\mathrm{sign}\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right)=\{\begin{array}{rr}1,& {\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b>0\\ -1,& {\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b<0\end{array}$$
所以其本质和感知机一样，仍然是在求一个超平面。

问：几何间隔最大的超平面就一定是我们前面所说的那个“距离正负样本都最远的超平面”吗？

答：是的，原因有以下两点：

• 当超平面没有正确划分正负样本时：几何间隔最小的为误分类点，此时所有的误分类点的几何间隔都小于0，即 ${\gamma }_i<0$ ，所以 $\gamma <0$。不考虑这种情况。

• 当超平面正确划分超平面时：几何间隔就是点到超平面的距离，$\gamma ⩾0$，超平面越靠近中心，离超平面最近的点的直线距离越远，即 $\gamma$ 越大。

策略：给定线性可分数据集 $X$ ，设 $X$ 中几何间隔最小的样本为 $\left({\mathbf{x}}_{\min },y_{\min }\right)$，那么支持向量机找超平面的过程可以转化为以下带约束条件的优化问题
$$\begin{array}{rl}& \begin{array}{cl}\max & \gamma \\ \text{ s.t. }& {\gamma }_i⩾\gamma ,i=1,2,\dots ,m\end{array}\\ & \underset{\mathbf{w},b}{\max }\frac{y_{\min }\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\min }+b\right)}{\Vert \mathbf{w}\Vert }\\ & \text{ s.t. }\frac{y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)}{\Vert \mathbf{w}\Vert }⩾\frac{y_{\min }\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\min }+b\right)}{\Vert \mathbf{w}\Vert },i=1,2,\dots ,m\\ & \underset{\mathbf{w},b}{\max }\frac{y_{\min }\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\min }+b\right)}{\Vert \mathbf{w}\Vert }\\ & \text{ s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾y_{\min }\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\min }+b\right),i=1,2,\dots ,m\end{array}$$
假设该问题的最优解为 $\left({\mathbf{x}}^{\ast },y^{\ast }\right)$，那么 $\left(\alpha {\mathbf{x}}^{\ast },\alpha y^{\ast }\right)$，$\alpha \in {\mathbb{R}}^{+}$（若为负则会反向），且超平面也不变（上下约掉）。因此还需要对 $\mathbf{w},b$ 做一定限制才能使得上述优化问题有可解的唯一解。

在支持向量机里，固定分子，令 $y_{\min }\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\min }+b\right)=1$ ，因为给定数据集的情况下， $\left({\mathbf{x}}_{\min },y_{\min }\right)$ 也固定，未知的只有 ${\mathbf{w}}^{\mathrm{T}},b$ ，当1也固定的时候，能使得 $y_{\min }\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\min }+b\right)=1$ 的 $\alpha$ 有且仅有一个。因此上述优化问题进一步转化为
$$\begin{array}{ll}{\max }_{\mathbf{w},b}& \frac{1}{\Vert \mathbf{w}\Vert }\\ \text{ s.t. }& y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m\end{array}$$
为了方便后续计算，再进一步进行恒等变换
$$\begin{array}{ll}{\min }_{\mathbf{w},b}& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ \text{ s.t. }& 1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩽0,i=1,2,\dots ,m\end{array}$$
支持向量机通常采用拉格朗日对偶来求解含不等式约束的优化问题。