SVM支持向量机

SVM支持向量机

SVMs(Support vector machines)支持向量机是二类分类器，其基本思想是找到一个分类超平面使得距离该分类超平面最近的样本点间隔最大化（Maximize Margin）。

线性判别函数和分类超平面

对于两类问题的线性分类器可以用下述决策规则：

$$g(x)=g_1(x)-g_2(x)$$
如果
$$g(x)=\left\{ \begin{array}{rcl} >0 & & {x\in \omega_1}\\ <0 & & {x \in \omega_2}\\ =0 & & {x \in \omega_1 \quad or \quad x \in \omega_2} \end{array} \right.$$
$g(x)=0$定义了一个决策面 $H$，它把归类于$\omega_1$类的点和 $\omega_2$类的点分离开来，当 $g(x)$为线性函数时，这个决策面即为超平面：
$$\begin{equation} \label{hyper} g(x)=w^Tx+b \end{equation}$$

在样本空间中，划分超平面可以用如下公式表示，记为 $(w,b)$：
$$w^Tx+b=0$$
假设 $x_1$， $x_2$都在决策面上，有
$$\begin{align*} &w^Tx_1+b=w^Tx_2+b\\ \Longrightarrow \quad & w^T(x_1-x_2)=0\\ \end{align*}$$
$w$和超平面上任一点正交，即$w$为 $(w,b)$的法向量。

点到平面距离

对于特征空间上某点$x$，可以表示为

$$x=x_p+\gamma\frac{w}{||w||}$$
其中$x_p$为$x$在平面$(w,b)$上的投影向量，$\gamma$为点$x$到超平面的距离，$\frac{w}{||w||}$为$w$方向上的单位向量。将上式带回 $\eqref{hyper}$ 式，得到

$$\begin{align*} g(x)&=w^Tx+b\\ &=w^T(x_p+\gamma\frac{w}{||w||})+b\\ &=w^Tx_p+b+\gamma\frac{w^Tw}{||w||}=\gamma ||w||\\ \Longrightarrow \quad & \gamma=\frac{g(x)}{||w||}=\frac{|w^Tx+b|}{||w||} \end{align*}$$
利用线性判别函数进行决策，就是用一个超平面将决策空间分割成两个决策区域，超平面的方向由 $w$确定，位置由$b$决定，判别函数 $g(x)$正比于 $x$到决策面的代数距离（带正负号）。当$x$在 $H$正侧时，$g(x)>0$，负侧时 <0 < 0 <script type="math/tex" id="MathJax-Element-35"><0</script>。

支持向量机

找到最大间隔的划分超平面

$$\begin{align*} &\max_{w,b} \gamma=\frac{2}{||w||}\\ s.t. \quad & (w^Tx_i+b)y_i>=1, \quad i=1,\cdots,m \end{align*}$$

也就是

$$\begin{align}\label{obj} &\min_{w,b} \frac{1}{2}||w||^2\\ s.t. \quad & (w^Tx_i+b)y_i>=1, \quad i=1,\cdots,m \nonumber\\ \end{align}$$

KKT条件

解密SVM系列（一）：关于拉格朗日乘子法和KKT条件

SVM中KKT条件介绍

支持向量机(SVM)（二）– 拉格朗日对偶（Lagrange duality）

对偶问题

下面我们转化为对偶问题求解：一是因为对偶问题求解起来往往更加容易；二是可以自然地引入核函数，进而推广到非线性问题。

利用拉格朗日乘子法得到上述问题的对偶问题（为每个约束添加拉格朗日乘子$\alpha_i\geq 0$）：

$$L(w,b,\alpha)=\frac{1}{2}||w||^2+\sum_{i=1}^{m}\alpha_i(1-y_i(w^Tx_i+b)),\quad, i=1,\cdots,m$$
令
$$\theta(\omega)=\max_{\alpha_i\geq 0}L(w,b,\alpha)$$
可以证明，原问题 $\eqref{obj}$等价于
$$\begin{align*} \min_{w,b}\theta(\omega)&=\min_{w,b}\max_{\alpha_i\geq 0}L(w,b,\alpha) \\ &=\min_{w,b}\max_{\alpha_i\geq 0} \frac{1}{2}||w||^2+\sum_{i=1}^{m}\alpha_i(1-y_i(w^Tx_i+b)) \end{align*}$$
因为当某个约束不满足时，有
$$\begin{align*} y_i(w^Tx_i+b))<1 &\Longrightarrow 1-y_i(w^Tx_i+b)>0\\ &\stackrel{\alpha_i=+\infty} \Longrightarrow \theta(\omega)=+\infty \end{align*}$$
显然不是我们要求的最小值。而当所有约束都满足时
$$\begin{align*} y_i(w^Tx_i+b))>=1 &\Longrightarrow 1-y_i(w^Tx_i+b)<=0\\ & \Longrightarrow \theta(\omega)=\frac{1}{2}||w||^2 \end{align*}$$
即为我们要最小化的间隔的倒数。
目前为止，目标函数变为
$$\min_{w,b}\max_{\alpha_i\geq 0}L(w,b,\alpha)=p^*$$
$p^*$为原问题的最优解，把最大最小交换一下得到
$$\max_{\alpha_i\geq 0}\min_{w,b}L(w,b,\alpha)=d^*$$
$d^*$为对偶问题的最优解，且 $d^*\leq p^*$，在满足KKT条件的情况下，两者等价。可以证明，我们的问题是满足KKT条件的。也就是说，原始问题通过满足KKT条件，已经转化成为对偶问题，而求解这个对偶学习问题，分为3个步骤：首先让 $L(w,b,\alpha)$关于 $w, b$最小化，然后对 $\alpha$求极大，最后通过SMO算法求解对偶问题中的拉格朗日乘子。

对偶问题求解

• 先固定$\alpha$，让$L$关于$w,b$最小化，分别对$w,b$求偏导。

回顾

$$L(w,b,\alpha)=\frac{1}{2}w^Tw+\sum_{i=1}^{m}\alpha_i(1-y_i(w^Tx_i+b)),\quad, i=1,\cdots,m$$
根据 矩阵求导公式
$$\frac{d x^Ta}{dx}=\frac{d a^T x}{dx}=a \Longrightarrow \frac{dw^Tw}{dx}=w+w=2w$$
有
$$\begin{align*} &\frac{\partial L}{\partial w}=w-\sum_{i=1}^{m}\alpha_ix_iy_i=0 \Longrightarrow w=\sum_{i=1}^{m}\alpha_ix_iy_i\\ &\frac{\partial L}{\partial b}=-\sum_{i=1}^{m}{\alpha_iy_i}=0 \Longrightarrow \sum_{i=1}^{m}{\alpha_iy_i}=0 \end{align*}$$
结果代回 $L$:
$$\begin{align*} L(w,b,\alpha)&=\frac{1}{2}\omega^T\omega+\sum_{i=1}^{m}\alpha_i(1-y_i(w^Tx_i+b))\\ &=\frac{1}{2}\omega^T\omega-\sum_{i=1}^{m}\alpha_iy_i(w^Tx_i+b)+\sum_{i=1}^{m}\alpha_i\\ &=\frac{1}{2}\omega^T\omega-\sum_{i=1}^{m}\alpha_iy_iw^Tx_i-b\sum_{i=1}^{m}\alpha_iy_i+\sum_{i=1}^{m}\alpha_i\\ \end{align*}$$
$$\begin{align*} &\omega^T\omega=(\sum_{i=1}^{m}\alpha_ix_iy_i)^T(\sum_{i=1}^{m}\alpha_ix_iy_i) =\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j\\ &\sum_{i=1}^{m}\alpha_iy_iw^Tx_i=\sum_{i=1}^{m}\alpha_iy_i(\sum_{i=1}^{m}\alpha_ix_iy_i)^Tx_i=\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j \end{align*}$$
有
$$\begin{align*} L(w,b,\alpha)=\sum_{i=1}^{m}\alpha_i-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j \end{align*}$$
可以看到上式仅包含 $\alpha_i$

• 求$\alpha$极大，经过上述步骤得到的$w,b$， $L$已经不包含$w,b$，只有$\alpha$
  $$\begin{align*} \max_{\alpha} &\sum_{i=1}^{m}\alpha_i-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j\\ s.t.\quad& \sum_{i=1}^{m}{\alpha_iy_i}=0\\ & \alpha_i \geq 0, \quad \quad i=1,\cdots,m \end{align*}$$
  解出$\alpha$后，有决策函数
  $$g(x)=w^Tx+b=\sum_{i=1}^{m}\alpha_iy_ix_i^Tx+b$$

支持向量的含义

可以看到，决策函数中的$\alpha_i$恰对应训练样本$(x_i,y_i)$。若要使上述过程满足KKT条件，要求：

$$\left\{ \begin{array}{l} \alpha_i\geq 0 \\ y_i g(x_i) -1 \geq 0\\ \alpha_i(y_ig(x_i)-1)=0 \end{array} \right.$$
对于任何样本 $(x_i,y_i)$，要么 $\alpha_i=0$，要么 $y_ig(x_i)-1=0$。如果 $\alpha_i=0$，样本点 $(x_i,y_i)$就不会在最终的决策函数中出现，即对最终的决策函数不会有任何贡献；若 $\alpha_i>0$，则必有 $y_ig(x_i)=1$，即对应的样本点在最大间隔边界上，是一个支持向量。所以，最终训练完成后， $\alpha$是一个稀疏的向量，大部分的样本对最终的超平面没有任何贡献，决策超平面仅与支持向量有关。

• 最后一步是利用SMO算法求解对偶问题中的拉格朗日乘子$\alpha$。
  $$\begin{align} \label{SMO} \max_{\alpha} &\sum_{i=1}^{m}\alpha_i-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j \\ s.t.\quad& \sum_{i=1}^{m}{\alpha_iy_i}=0\nonumber\\ & \alpha_i \geq 0, \quad \quad i=1,\cdots,m \nonumber \end{align}$$

上述问题实质上是一个二次规划问题，可利用二次规划算法求解，但考虑到问题的规模正比于样本数，在实际任务中会造成巨大的开销。人们提出了很多高效算法，SMO(Sequential Minimal Optimization)就是其中的一个著名代表。

SMO的基本思路是每次固定除$\alpha_i$之外的所有参数，然后求在$\alpha_i$上的极值。由于存在约束$\sum_{i=1}^{m}\alpha_iy_i=0$，若固定$\alpha_i$之外的其他变量，则$\alpha_i$可由其他变量导出。所以SMO每次选择两个变量$\alpha_i, \alpha_j$并固定其他变量，在参数初始化后，SMO不断执行如下步骤直至收敛：

1. 选取一对需要更新的变量$\alpha_i,\alpha_j$
2. 固定其他参数，求解$\eqref{SMO}$获得更新后的$\alpha_i,\alpha_j$

核函数

在之前的讨论中，我们假设数据是线性可分的，很多时候在原始样本空间我们找不到一个分类超平面将两类样本正确分类，这个时候我们考虑将样本从原始空间映射到一个更高维的空间，使得样本在这个高维空间内线性可分。可以证明，如果原始空间是有限维的，即属性有限，那么一定存在一个高维特征空间使得数据线性可分。




核函数是计算两个向量在隐式空间中内积的函数，而在SVM中要计算的地方恰恰总是以内积的形式出现。这样就避免在高维空间直接计算。

常见核函数

• 多项式核$K(x_1; x_2) = (⟨x_1; x_2⟩ + R)^d$，这个核所对应的映射实际上是可以写出来的，该空间的维度是$C^d_{m+d}$，其中$m$ 是原始空间的维度。$d=1$时为线性核。
• 高斯核$K(x_1; x_2) = e^{\frac{-∥x_1- x_2∥^2}{2\sigma^2}}$，这个核可以将原始空间映射为无穷维空间。$\sigma$ 为带宽，选得很大的话，高次特征上的权重衰减得非常快，所以实际上（数值上近似一下）相当于一个低维的子空间；反过来，如果$\sigma$选得很小，则可以将任意的数据映射为线性可分，不过可能带来非常严重的过拟合问题。通过调控参数$\sigma$，高斯核具有相当高的灵活性，也是使用最广泛的核函数之一。

核函数的选择

一般是用线性核和高斯核。可以首先利用专家的先验知识预先选择核函数，二是可以利用交叉验证。
吴恩达:
1. 如果Feature的数量很大，跟样本数量差不多，这时候选用LR或者是Linear Kernel的SVM
2. 如果Feature的数量比较小，样本数量一般，不算大也不算小，选用SVM+Gaussian Kernel
3. 如果Feature的数量比较小，而样本数量很多，需要手工添加一些feature变成第一种情况

软间隔与正则化

在现实任务中，很难确定合适的核函数使得训练样本在特征空间中线性可分，即使找到了，也很有可能是过拟合。

因此我们引入软间隔的概念，即允许支持向量机在一些样本上出错。

软间隔支持向量机

$$\begin{align*} &\min {\frac{1}{2}}||w||^2+C\sum_{i=1}^{m}\xi_i\\ s.t.\quad & y_i(w^Tx_i+b)\geq 1-\xi_i \\ & \xi_i\geq 0,\quad i=1,\cdots,m \end{align*}$$
通过拉格朗日乘子法得到对应的拉格朗日函数：
$$\begin{align*} &L(\vec{w},b,\vec{\alpha},\vec{\xi},\vec{\mu})={\frac{1}{2}}||w||^2+C\sum_{i=1}^{m}\xi_i+\sum_{i=1}^{m}\alpha_i(1-\xi_i-y_i(w^Tx_i+b))-\sum_{i=1}^{m}\mu_i\xi_i\\ & \mu_i,\alpha_i\geq 0 \end{align*}$$

---

参考资料

支持向量机通俗导论（理解SVM的三重境界）
机器学习-周志华