【机器学习笔记】第10章：支持向量机

第10章：支持向量机

10.1 代价函数 Cost function

支持向量机SVM（Support Vector Machine）可以用于分类和回归。SVM将向量映射到高维空间中，在空间中建立一个最大间隔的超平面，这个超平面两边建有两个相互平行的分开数据的超平面，使得其与中间的超平面距离最大化。

在逻辑回归中，代价函数为：$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$其中，当$y=1$或$y=0$时，代价函数图像分别如下图所示：

对其进行修改，得到SVM的代价函数：$$J(\theta )=C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$其中，$C$是一个类似权重的系数，$cos{t}_1({\theta }^{T}x),cos{t}_0({\theta }^{T}x)$的函数图像如下图所示：
于是对代价函数的要求如下：
$$\{\begin{array}{l}ify=1\Rightarrow {\theta }^{T}x\ge 1\\ ify=0\Rightarrow {\theta }^{T}x\le -1\end{array}$$
注：如果 $C$太大，会导致SVM代价函数前一部分的值很小，后一部分的值很大，容易造成过拟合（对异常点敏感）。

10.2 假设函数 Hypothesis

SVM的假设函数为：$$h_{\theta }(x)=\{\begin{array}{l}1,if{\theta }^{T}x\ge 0\\ 0,else\end{array}$$

10.3 范数表示

设向量$u=\left[\begin{array}{c}{u}_1\\ u_2\end{array}\right],v=\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]$，如下图所示：

$\Vert u\Vert =\sqrt{u_1^2+u_2^2}$称为$u$的范数，即$u$的长度；$p$为$v$在$u$上的投影长度；满足 $u^{T}v=p\cdot \Vert u\Vert$。

所以，SVM代价函数的后一部分可以表示如下：$$\frac{1}{2}\sum _{j=1}^n{\theta }_j^2=\frac{1}{2}({\theta }_1^2+{\theta }_2^2+\cdots +{\theta }_n^2)=\frac{1}{2}(\sqrt{{\theta }_1^2+{\theta }_2^2+\cdots +{\theta }_n^2}{)}^2=\frac{1}{2}\Vert \theta {\Vert }^2$$

则代价函数的要求可以表示为：$$\{\begin{array}{l}ify=1\Rightarrow p\cdot \Vert \theta \Vert \ge 1\\ ify=0\Rightarrow p\cdot \Vert \theta \Vert \le -1\end{array}$$

10.4 高斯核函数 Gaussian Kernel

已知，在线性SVM中，计算的是 ${\theta }^{T}x$，如果对其进行修改，计算 ${\theta }^{T}f$ ，则是高斯核函数的SVM，$f$的定义如下：$$f_1=similarity(x,l^{(1)})=exp(-\frac{\Vert x-l^{(1)}{\Vert }^2}{2{\sigma }^2})$$$$f_2=similarity(x,l^{(2)})=exp(-\frac{\Vert x-l^{(2)}{\Vert }^2}{2{\sigma }^2})$$$$\cdots$$其中，$l$ 称为标记点，$l^{(1)},l^{(2)},\cdots ,l^{(m)}$，每一个标记点与每一个样本数据在空间中位于相同位置。于是就有：

• 如果 $x$ 与 $l$ 相隔很近 $\Rightarrow f\approx exp(0)\approx 1$
• 如果 $x$ 与 $l$ 相隔很远 $\Rightarrow f=exp(-\infty )\approx 0$

高斯核函数的SVM流程可表示为：

1. 给定数据集$(x^{(1)},y^{(1)}),\cdots ,(x^{(m)},y^{(m)})$；
2. 设$l^{(1)}=x^{(1)},\cdots ,l^{(m)}=x^{(m)}$；
3. 对于测试样本$x$，计算$f=\left[\begin{array}{c}{f}_1\\ ⋮\\ f_m\end{array}\right]$；
4. ${\theta }^{T}f\ge 0\Rightarrow y=1,{\theta }^{T}f\le 0\Rightarrow y=0$

此时代价函数修改为：$$J(\theta )=C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{f}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{f}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$
注：$\sigma$ 较大，容易造成欠拟合，$\sigma$ 较小，容易造成过拟合。

10.5 SVM实现多分类

SVM与逻辑回归一样，本质上属于二分类的算法，但是可以通过构建多个二分类器的思想，实现多分类。

• 针对类别$A$ ，设$A$为正类，非$A$为负类，构建二分类器 $h_{\theta }^{(1)}(x)$；
• 针对类别$B$ ，设$B$为正类，非$B$为负类，构建二分类器 $h_{\theta }^{(2)}(x)$；
• 针对类别$C$ ，设$C$为正类，非$C$为负类，构建二分类器 $h_{\theta }^{(3)}(x)$；
• $\cdots$

由于$h_{\theta }^{(i)}(x)=P(y=i|x;\theta )$，即求$max(h_{\theta }^{(i)}(x))$时的 $i$。

10.6 逻辑回归和SVM的选择

设定 $n$ 为特征，$m$ 为样本数量。

• 如果 $n$ 相对于 $m$ 很大 $\Rightarrow$ 逻辑回归、线性SVM
• 如果 $n$ 很小，$m$ 适中 $\Rightarrow$ 高斯核函数的SVM
• 如果 $m$ 相对于 $n$ 很大 $\Rightarrow$ 增加多个特征，然后使用逻辑回归或线性SVM