[学习笔记]数据挖掘-week5

支持向量机（SVM）

学习视频：80240372X 数据挖掘：理论与算法（自主模式）

核心思想：

• 从输入空间向特征空间做映射。

Linear SVMs

SVM 最开始为线性分类器，分类过程如下图。

图片来源：Burges, C.J. A Tutorial on Support Vector Machines for Pattern Recognition. Data Mining and Knowledge Discovery 2, 121–167 (1998)

$H_1$ 与 $H_2$ 为用于分类的超平面, $w$ 为垂直与超平面的向量，$b$ 为常量，用于偏离原点。分界面中心至原点的距离为$-b/||w||$，或表示为 $|b|/||w||$。分类条件如下（对于每个点 $x_i$）：

$$\begin{array}{rl}{x}_i\cdot w+b& \ge +1\text{for}{y}_i=+1\\ x_i\cdot w+b& \le -1\text{for}{y}_i=-1\end{array}$$

其中 $\pm 1$ 用来代表需要区分的两个类别。图中的 margin 空间越大，表示分类器效果更好。上下两个超平面上加圆圈的数据点被称为支持向量（Support Vectors）。而 SVM 能够保证超平面间的 margin 最大。上述的 SVM 又称为线性支持向量机（LSVM）。依旧只能处理线性分类问题。

空间中的数据点到达中心超平面（上图中的实线）的距离表示为：

$$\frac{|x_i\cdot w+b|}{||w||}$$

则上下两个超平面到中心平面的距离相等，且 margin 的宽度为其两倍。

$$\begin{array}{rl}& \frac{|\pm 1|}{||w||},\text{distance}\\ & \frac{2}{||w||},\text{margin}\end{array}$$

综上，判断样本点是否被正确分类，可用如下公式统一表示：

$$y_i(w\cdot x_i+b)-1\ge 0$$

在样本被正确分类的前提下，最大化 margin，等价于最小化如下函数。

$$\text{max }M=\frac{2}{||w||}\Rightarrow \text{min }\frac{1}{2}{w}^{T}w$$

加上正确分类的约束条件，LSVM 的优化问题如下：

$$\begin{array}{rl}& \text{min }\frac{1}{2}{w}^{T}w\\ & \text{s.t. }{y}_i(w_i\cdot x+b)\ge 1\end{array}$$

通过拉格朗日乘数法对该问题进行求解。

$$\begin{array}{rl}{L}_P& =\frac{1}{2}||w|{|}^2-\sum _{i=1}^l{a}_i{y}_i(w_i\cdot x_i+b)+\sum _{i=1}^l{a}_i\\ & \frac{\partial L_P}{\partial w}=0\Rightarrow w=\sum _{i=1}^l{a}_i{y}_i{x}_i\\ & \frac{\partial L_P}{\partial b}=0\Rightarrow \sum _{i=1}^l{a}_i{y}_i=0\end{array}$$

这里的拉格朗日乘数法之所以是减去限制条件，是因为将该问题做为二次规划问题处理，而二次规划问题中，不等式限制条件是小于等于 0 的形式。

将求导后的结果带回原式，得到新的目标函数（与原式表达的问题为对偶问题，一般对偶问题与原问题不等价，但 SVM 满足某些条件使得两问题可等价）。

$$\begin{array}{rl}{L}_D& =\sum _i{a}_i-\frac{1}{2}\sum _i\sum _j{a}_i{a}_j{y}_i{y}_j{x}_i{x}_j\\ & =\sum _i{a}_i-\frac{1}{2}{a}^{T}Hawhere{H}_{i,j}=y_i{y}_j{x}_i\cdot x_j\\ s.t.& \sum _i{a}_i{y}_i=0\&a_i\ge 0\end{array}$$

同样，新的目标函数依旧是二次规划问题。求解过程更加方便。只有 1 个变量，即拉格朗日乘数。求解后，只有少部分 $a$ 非零，而非零的点就是支持向量。

$$\begin{array}{rl}g(x)& =w\cdot x+b\\ & =\sum _i{a}_i{y}_i{x}_i\cdot x+b\end{array}$$

得出支持向量后，任选一个支持向量带入即可求 b。

$$\begin{array}{rl}{y}_s(x_s\cdot w+b)& =1\\ y_s(\sum _{m\in s}{a}_m{y}_m{x}_m\cdot x_s+b)& =1\\ y_x^2(\sum _{m\in s}{a}_m{y}_m{x}_m\cdot x_s+b)& =y_s\\ y_s-\sum _{m\in s}{a}_m{y}_m{x}_m\cdot x_s& =b\end{array}$$

$y_s$ 是超平面处讨论的每个点的取值。上下超平面上的点取值只有正负一。所以平方后省略。

上述讨论的前提都是样本点被正确分类，然而，实际数据处理过程中，会出现某些 A 类点在 B 类点中，或 B 类点在 A 类点中。从而无法满足正确划分类别的不等式条件。此时，可以加上一个非负数，若满足条件，依旧视为正确划分。

$$\begin{array}{r}{y}_i(x_i\cdot w+b)-1+{\xi }_i\ge 0\\ \text{min }\frac{1}{2}{w}^{T}w+C\sum _i{\xi }_i\\ {\xi }_i\ge 0\end{array}$$

相应的需要优化的目标函数也跟着改变，C 表示惩罚量。优化也是用拉格朗日乘数法。得到新的目标函数。

$$\begin{array}{r}{L}_D=\sum _i{a}_i-\frac{1}{2}{a}^{T}Ha\\ s.t.0\le a_i\le C\&\sum _i{a}_i{y}_i=0\end{array}$$

相比于理想状况，只是限制条件多了一个上限。

Non-linear SVMs

为使 SVM 能够处理线性不可分问题，将原始空间的数据映射到特征空间中，在特征空间中，该数据是线性可分的。类似下图所示。

映射到更高维度的空间中相应的计算复杂度也就上升，但在 SVM 中存在这样的特性（来源于向量之间的点乘）。

$$K(a,b)=(a\cdot b+1{)}^2=\Phi (a)\cdot \Phi (b)$$
$$\Phi (x)=(1,\sqrt{2}{x}_1...\sqrt{2}{x}_m,x_1^2,...,x_m^2,\sqrt{2}{x}_1{x}_2,\sqrt{2}{x}_1{x}_3,...,\sqrt{2}{x}_{m-1}{x}_m)$$

$\Phi (x)$是定义的原始空间向量 x 在高维空间上的映射。$K(a,b)$为核函数，不同的核函数对应不同的高维空间。常用的核函数如下：

$$\begin{array}{r}\text{Polynomial: }K(x_i,x_j)=(x_i\cdot x_j+1{)}^d\\ \text{Gaussian: }K(x_i,x_j)=\text{exp}\left(-\frac{||x_i-x_j|{|}^2}{2{\sigma }^2}\right)\end{array}$$

则高维空间中对支持向量机的计算过程转化如下。最终都转化成核函数的计算。

$$\begin{array}{rl}& w=\sum _{i=1}^l{a}_i{y}_i\Phi (x_i)\\ & w\cdot \Phi (x_j)=\sum _{i=1}^l{a}_i{y}_i\Phi (x_i)\cdot \Phi (x_j)=\sum _{i=1}^l{a}_i{y}_{i}K(x_i,x_j)\\ & b=y_s-\sum _{m\in s}{a}_m{y}_{m}K(x_m,x_s)\\ & g(x)=\sum _{i=1}^l{a}_i{y}_{i}K(x_i,x)+b\end{array}$$

最终，决策平面与线性支持向量机相差不大。

VC Dimension

衡量一个模型能力的指标，VC 表示两个作者名字的首字母。当存在 h 个样本点，随机对样本点定义标签，模型总能够正确的划分类别，则该模型的 VC dimension 为 h。在 n 维空间中，超平面的 h 值为 n+1。有了 VC dimension 可以对模型的测试误差有一个大概的估计。

$$\begin{array}{rl}{E}_{test}& <E_{train}+\sqrt{\frac{h(\log (2N/h)+1)-\log (\eta /4)}{N}}\\ & =1-\eta \end{array}$$

$N$为样本数量，$\eta$取值为[0,1]，$1-\eta$为至信度（VC confidence）。通过上述公式，对于训练误差相同的模型，越复杂的模型 h 更高，相应的测试误差更大的风险也就越高。