支持向量机

支持向量机

@(2016/08/02)

阅读笔记——周志华《机器学习》和李航《统计学习方法》

支持向量机（support vector machine）是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；通过核技巧（kernel trick），使得支持向量机可以完成非线性空间上的分类。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题。

支持向量机包含三种由简至繁的模型：线性可分支持向量机（linear support vector machine in linearly separable case）、线性支持向量机（linear support vector machine）及非线性支持向量机（non-linear support vector machine）。

在线性可分支持向量机模型中，通过硬间隔最大化（hard margin maximization）从线性可分的训练数据中学习该线性分类器；在线性支持向量机模型中，通过软间隔最大化（soft margin maximization）从近似线性可分的训练数据中学习该线性分类器；在非线性支持向量机中，通过核技巧和软间隔最大化可从线性不可分的数据中学习该非线性分类器。事实上，无论是哪种模型，最终都是在特征空间中进行支持向量机的学习，只不过在前两种模型中，假设输入空间和特征空间的元素一一对应，并将输入空间中的输入映射为特征空间中的特征向量，而非线性支持向量机是利用一个从输入空间到特征空间的非线性映射将输入映射为特征向量的。

支持向量机的优点：
1） 可用于高维空间中的数据分类
2） 在数据维度高于样本个数时，仍然可以有效学习
3） 真正对支持向量机产生影响的是支持向量，通常支持向量只占一小部分，所以，其内存消耗低
4） 多功能性。可选的核有很多，既有常用的核函数，也可自行定制特殊的核函数。

1. 线性可分支持向量机

1.1 线性可分支持向量机——硬间隔最大化

给定训练集$T={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)},y=-1\space or\space +1$,支持向量机就是从$D$中找出具有最大间隔的超平面，超平面可由下式表示：

$$w\cdot x+b=0$$ 则样本空间内任意点 $x$到超平面的距离可写为： $$r=\dfrac{|w\cdot x+b|}{||w||}$$ 假设数据线性可分，则超平面能将训练样本正确分类，有：

$$\lbrace{w\cdot x_i+b\geq+1, \space y_i=+1\atop w\cdot x_i+b\le-1,\space y_i=-1}$$ 其中 $(x_i,y_i)\in T$。
距离超平面最近的几个训练样本点使以上两式的等号成立，它们就是 支持向量(support vector)，则两个异类支持向量到超平面的距离之和为
$$\gamma=\dfrac{2}{||w||}$$
这里的 $\gamma$就是该超平面分类边界的 几何间隔（geometric margin），则使得几何间隔最大且满足前述不等式，即
$$\begin{array}{l}\max_{w,b} & \frac{2}{||w||} \\ s.t. & y_i(w\cdot x_i+b)\geq1,\space i=1,2,...,N\end{array}$$
也可写为
$$\begin{array}{l}\min_{w,b} & \dfrac{1}{2}||w||^2 \\ s.t. & y_i(w\cdot x_i+b)\geq1,\space i=1,2,...,N\end{array}$$
这就是 支持向量机的基本型，是一个凸二次规划问题。
凸优化问题是指约束最优化问题
$$\begin{array}{l}\min_{w}&f(w)\\s.t. & g_{i}(w)\leq0,\space i=1,2,...,k \\ & h_{i}(w)=0,\space i=1,2,...,l\end{array}$$
其中目标函数 $f(w)$和约束函数 $g_i(w)$都是 $R^n$上的连续可微的凸函数，约束函数 $h_i(w)$是 $R^n$上的仿射函数。
综上，可得出线性可分支持向量机学习算法——最大间隔法。

算法 1 （线性可分支持向量机学习算法——最大间隔法）
输入：线性可分训练数据集$T={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}$，其中，$x_i\in X=R^n,y_i\in Y, i=1,2,...,N$；
输出：最大间隔分离超平面
(1) 构造并求解约束最优化问题：

$$\min_{w,b} \space \dfrac{1}{2}||w||^2$$
$$s.t. \space y_i(w\cdot x_i + b)-1\geq0,\space i=1,2,...,N$$
求得最优解 $w^*,b^*$。
(2) 由此得到分离超平面：
$$w^*\cdot x+b^*=0$$
可证明线性可分训练数据集的最大间隔分离超平面是存在且唯一的。

1.2 学习的对偶算法

为了求解线性可分支持向量机的最优化问题，将它作为原始最优化问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，这就是线性可分支持向量机的对偶算法。这样做的优点，一是对偶问题往往更容易求解；二是自然引入核函数（kernel method）进而推广到非线性分类问题。
首先构建拉格朗日函数

$$L(w,b,\alpha)=\dfrac{1}{2}||w||^2-\sum_{i=1}^N\alpha_iy_i(w\cdot x_i+b)+\sum_{i=1}^N\alpha_i$$
其中 $\alpha=(\alpha_1,\alpha_2,...,\alpha_N)^T$为拉格朗日乘子向量。
原始问题可表示为该拉格朗日函数的极小极大问题，即
$$\min_{w,b}\max_\alpha L(w,b,\alpha)$$
由拉格朗日对偶性可得其 对偶问题为极大极小问题，即
$$\max_\alpha\min_{w,b}L(w,b,\alpha)$$
为了求解对偶问题的最优解，需要先解决极小问题，然后求极大问题的解
(1) 求 $\min_{w,b}L(w,b,\alpha)$
令 $L$的偏导数为零，即
$$\left. \begin{matrix}\nabla_{w}L(w,b,\alpha)=0 \\ \nabla_bL(w,b,\alpha)=0 \end{matrix}\right\}\Longrightarrow\left\{\begin{matrix}w=\sum_{i=1}^N\alpha_iy_ix_i \\ \sum_{i=1}^N\alpha_iy_i=0\end{matrix}\right.$$
将上述右式带入 $L(w,b,\alpha)$中，有

minw,bL(w,b,α)=−12∑i=1N∑j=1Nαiαjyiyj(xi