机器学习经典算法之SVM深入解析

前言

起初让我最头疼的是拉格朗日对偶和SMO，后来逐渐明白拉格朗日对偶的重要作用是将w的计算提前并消除w，使得优化函数变为拉格朗日乘子的单一参数优化问题。而SMO里面迭代公式的推导也着实让我花费了不少时间。

对比这么复杂的推导过程，SVM的思想确实那么简单。它不再像logistic回归一样企图去拟合样本点（中间加了一层sigmoid函数变换），而是就在样本中去找分隔线，为了评判哪条分界线更好，引入了几何间隔最大化的目标。

之后所有的推导都是去解决目标函数的最优化上了。在解决最优化的过程中，发现了w可以由特征向量内积来表示，进而发现了核函数，仅需要调整核函数就可以将特征进行低维到高维的变换，在低维上进行计算，实质结果表现在高维上。由于并不是所有的样本都可分，为了保证SVM的通用性，进行了软间隔的处理，导致的结果就是将优化问题变得更加复杂，然而惊奇的是松弛变量没有出现在最后的目标函数中。最后的优化求解问题，也被拉格朗日对偶和SMO算法化解，使SVM趋向于完美。

1. 支持向量机基本概念及原理

1.1 间隔与支持向量

给定训练样本集 $$\begin{gathered} D=({\vec{x}}^{(1)},y^{(1)}),({\vec{x}}^{(2)},y^{(2)}),..,({\vec{x}}^{(m)},y^{(m)}),y_i\in \\ -1,+1 \\ (二分类问题),{\vec{x}}^{(i)}=(x_1^{(i)};x_2^{(i)};...;x_d^{(i)}) \end{gathered}$$ (注意,这里用的是分号, 表示这是一个列向量), SVM做的事情就是试图把一根"木棍"放在最佳位置, 好让"木棍"的两边都有尽可能大的"间隔".

这个"木棍"就叫做"划分超平面", 可以用下面的线性方程来描述:

$${\vec{w}}^T\vec{x}+b=0$$

, 其中 $\vec{w}=(w_1;w_2;...;w_d)$ 为 $d$ 维法向量(注意,这里用的是分号, 表示这是一个列向量), $\vec{x}$ 为"木棍"上的点的坐标, $b$ 为位移项.

根据点到"直线"的距离公式,我们可以得到样本空间中任意点 $\vec{x}$ 到超平面 $(\vec{w},b)$ 的距离为:

$$r=\frac{|{\vec{w}}^T\vec{x}+b|}{\Vert \vec{w}\Vert }$$

$\Vert \vec{w}\Vert =\sqrt{w_1^2+w_2^2+...+w_d^2}$ 为向量长度(也即向量的L2范式)

首先假设 当前的超平面可以将所有的训练样本正确分类, 那么就有如下式子:

$$\{\begin{array}{ll}{\vec{w}}^T{\vec{x}}^{(i)}+b\ge 0,& y^{(i)}=+1\\ {\vec{w}}^T{\vec{x}}^{(i)}+b\le 0,& y_{(i)}=-1\end{array}$$

上式可以统一写成如下的约束不等式:()

$$y^{(i)}({\vec{w}}^T{\vec{x}}^{(i)}+b)\ge 0$$

上面的式子其实是冗余的, 因为假设样本点不在超平面上, 所以不可能出现等于0的情况, 又因为超平面方程两边都乘一个不等于0的数,还是 同一个超平面, 因此为了简化问题的表述, 我们对 $\vec{w}$ 和 $b$ 加上如下约束(这里的1没有什么特别的含义, 可以是任意的常数, 因为这里的点 ${\vec{x}}^{(i)}$ 不是超平面上的点, 所以所得值不为0):

$$\underset{i}{\min }|{\vec{w}}^T{\vec{x}}^{(i)}+b|=1$$

即离超平面最近的正, 负样本距离超平面的距离为: $\frac{1}{\Vert \vec{w}\Vert }$ , 我们将这些距离超平面最近的几个训练样本点为定义"支持向量", 那么, 两个异类支持向量到超平面的距离之和就为 $\gamma =\frac{2}{\Vert \vec{w}\Vert }$ , 我们将这称为"间隔".

同时, 根据此约束, 我们可以消除超分类平面约束的冗余, 得到新的超分类平面约束如下:

$$y^{(i)}({\vec{w}}^T{\vec{x}}^{(i)}+b)\ge 1$$

SVM的目的就是找到具有"最大间隔"的划分超平面, 也就是要找到满足约束$y^{(i)}({\vec{w}}^T{\vec{x}}^{(i)}+b)\ge 1$中的参数 $\vec{w},b$ , 使得其具有最大的间隔 $\gamma$ , 也就:

$$\arg \underset{\vec{w},b}{\max }\frac{2}{\Vert \vec{w}\Vert }$$
$$s.t.y^{(i)}({\vec{w}}^T\vec{x}(i)+b)\ge 1,i=1,...,m$$

显然, 为了最大化间隔 $\gamma$ , 我们仅需要最大化 $\Vert \vec{w}{\Vert }^{-1}$ , 这就等于最小化 $\Vert \vec{w}{\Vert }^2$, 于是上式等价为:

$$\arg \underset{\vec{w},b}{\min }\frac{1}{2}\Vert \vec{w}{\Vert }^2=\arg \underset{\vec{w},b}{\min }\frac{1}{2}{\vec{w}}^T\vec{w}\text{\hspace{1em}(1)}$$

$$s.t.y^{(i)}({\vec{w}}^T\vec{x}(i)+b)\ge 1,i=1,...,m$$

下图即为SVM示意图, 注意,图中的1可以被任意常数替换(只要前面乘上对应的系数即可, =0说明在超分类平面上, !=0说明在两侧)

以上就是线性可分时的SVM基本型(现实中大多数问题是线性不可分的, 所以线性可分的SVM没有太多实用价值)

1.2 对偶问题求解 $\vec{w}$ 和 $b$

1.2.1 问题说明

凸二次规划问题(convex quadratix programming): 目标函数是变量的二次函数, 约束条件是变量的线性不等式

对偶问题(dual problem):在求出一个问题解的同时, 也给出了另一个问题的解

我们希望通过求解式(1)来得到具有最大间隔的划分超平面的模型参数,由于该式是一个凸二次规划问题 因此,对该式使用拉格朗日乘子法得到其"对偶问题"

对于式(1)的每条样本点约束添加拉格朗日乘子 ${\alpha }^{(i)}\ge 0$, 则该问题的拉格朗日函数为:

$$L(\vec{w},b,\alpha )=\frac{1}{2}\Vert \vec{w}{\Vert }^2+\sum _{i=1}^m{\alpha }^{(i)}(1-y^{(i)}({\vec{w}}^T{\vec{x}}^{(i)}+b))\text{\hspace{1em}(2)}$$

其中, $\vec{\alpha }=({\alpha }^{(1)},{\alpha }^{(2)},...,{\alpha }^{(m)}),每一个{\alpha }^{(i)}均为标量$ .接着对 $L(\vec{w},b,\vec{\alpha })$ 对 $\vec{w}$ 和 $b$ 求偏导, 并令其为0, 可得:

$$\frac{\partial L(\vec{w},b,\vec{\alpha })}{\partial \vec{w}}=\vec{w}-\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}{\vec{x}}^{(i)}=0\text{\hspace{1em}(3)}$$

$$\frac{\partial L(\vec{w},b,\vec{\alpha })}{\partial b}=-\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}=0\text{\hspace{1em}(4)}$$

将(3)和(4)代入(2)式中, 消去 $\vec{w}$ 和 $b$ ( 注意, 这里 ${\sum }_{i=1}^m{\alpha }^{(i)}{y}^{(i)}=0$, 但是不代表 ${\alpha }^{(i)}{y}^{(i)}=0$ ), 可得:

$$L(\vec{w},b,\vec{\alpha })=\frac{1}{2}(\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}{\vec{x}}^{(i)}{)}^2+\sum _{i=1}^m{\alpha }^{(i)}-\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}(\sum _{j=1}^m{\alpha }^{(j)}{y}^{(j)}{\vec{x}}^{(j)}{)}^T{\vec{x}}^{(i)}-\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}b$$

$$=\sum _{i=1}^m{\alpha }^{(i)}-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }^{(i)}{y}^{(i)}{\alpha }^{(i)}{y}^{(j)}{\vec{x}}^{(i)T}{\vec{x}}^{(j)}$$

这里 ${\vec{x}}^{(i)},{\vec{x}}^{(j)}$ 位置可互换, 为了好看,我将 ${\vec{x}}^{(i)}$ 写在了前面. 到此, 我们就得到了式(2)的对偶问题:

$$\arg \underset{\vec{\alpha }}{\max }(\sum _{i=1}^m{\alpha }^{(i)}-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }^{(i)}{\alpha }^{(j)}{y}^{(i)}{y}^{(j)}{\vec{x}}^{(i)T}{\vec{x}}^{(j)})\text{\hspace{1em}(5)}$$
$$s.t.\sum _{i=1}^m{\alpha }^{(i)}y(i)=0,其中{\alpha }^{(i)}\ge 0$$

为了满足原始问题(1) 和对偶问题(5)之间的充分必要条件, 上述推导过程还需要满足KKT(Karush-Kuhn-Tucker)条件(其中前两条已经在上述推导过程中满足) , 即要求:

$$\{\begin{array}{l}{\alpha }^{(i)}\ge 0;\\ y^{(i)}f({\vec{x}}^{(i)})-1\ge 0;\\ {\alpha }^{(i)}(y^{(i)}f({\vec{x}}^{(i)})-1)=0.\end{array}$$

当我们解出上式得到 $\vec{\alpha }$ 后, 就可以通过求得 $\vec{w}$ 和 $b$ 的值, 进而可得到划分超平面对应的模型:

$$f(\vec{x})={\vec{w}}^T\vec{x}+b=\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}{\vec{x}}^{(i)T}\vec{x}+b$$

根据KKT条件我们可以轻易得出, 对任意的训练样本 $({\vec{x}}^{(i)},y^{(i)})$ , 总有 ${\alpha }^{(i)}=0$ 或 $y^{(i)}f({\vec{x}}^{(i)})=1$ . 若 ${\alpha }^{(i)}=0$ , 则该项对应的样本不会出现在求和项中 ; 若 ${\alpha }^{(i)}>0$ , 则必有 $y^{(i)}f({\vec{x}}^{(i)})=1$ , 这说明该样本点出现在最大间隔边界上, 是一个支持向量. 这显示出支持向量机的一个重要性质: 训练完成后, 大部分的训练样本都不需要保留(该样本对应的系数 ${\alpha }^{(i)}=0$ ), 最终模型仅与支持向量有关.

使用SMO算法求对偶问题的解

从(5)式可以看出, 这仍是一个二次规划问题, 可以使用通用的二次规划法来求解, 但是, 该问题的规模正比于训练样本数量, 在实际任务中使用通用解法会造成很大的开销, 因此, 需要使用更高效的算法—SMO(Sequential Minimal Optimization, 序列最小算法)

SMO的基本思路: 先固定 ${\alpha }^{(i)}$ 之外的所有参数, 然后求 ${\alpha }^{(i)}$ 上的极值. 但是这里由于 ${\alpha }^{(i)}$ 之间不是互相独立的, 需要满足约束 ${\sum }_{i=1}^m{\alpha }^{(i)}{y}^{(i)}=0$ , 即一个分量改变, 另一个也要随之改变,因此每次在优化变量中选取两个分量 ${\alpha }^{(i)}$ 和 ${\alpha }^{(j)}$ ,并将其他参数固定, 然后在参数初始化后, 不断执行如下两个步骤直至收敛:

• 选取一对需要更新的变量 ${\alpha }^{(i)}$ 和 ${\alpha }^{(j)}$
• 固定 ${\alpha }^{(i)}$ 和 ${\alpha }^{(j)}$ 以外的参数, 求解(5)式更新后的 ${\alpha }^{(i)}$ 和 ${\alpha }^{(j)}$

具体的求解过程如下:

首先假设需要优化的参数是 ${\alpha }^{(i)}$ 和 ${\alpha }^{(j)}$ , 于是我们将剩下的分量 ${\sum }_{k=1,k̸=i,j}^m{\alpha }^{(k)}{y}^{(k)}$ 固定, 作为常数处理, 可得下式:

$${\alpha }^{(i)}{y}^{(i)}+{\alpha }^{(j)}{y}^{(j)}=-\sum _{k=1,k̸=i,j}^m{\alpha }^{(k)}{y}^{(k)}=C$$

对上式两边同乘以 $y^{(j)}$ ,由于 $y^{(j)}\times y^{(j)}=1$ 可得:

$${\alpha }^{(j)}=C{y}^{(j)}-{\alpha }^{(i)}{y}^{(i)}{y}^{(j)}=y^{(j)}(C-{\alpha }^{(i)}{y}^{(i)})$$

将上式代入(5)式, 消去变量 ${\alpha }^{(j)}$ , 得到一个关于 ${\alpha }^{(i)}$ 的单变量二次规划问题, 所有的常数项用 $C$ 表示, (5)式被转换成如下,:

$$F({\alpha }^{(i)})={\alpha }^{(i)}+(y^{(j)}(C-{\alpha }^{(i)}{y}^{(i)}))-\frac{1}{2}{\alpha }^{(i)}{\alpha }^{(i)}{y}^{(i)}{y}^{(i)}{\vec{x}}^{(i)T}{\vec{x}}^{(i)}-\frac{1}{2}(y^{(j)}(C-{\alpha }^{(i)}{y}^{(i)}){)}^2{y}^{(j)}{y}^{(j)}{\vec{x}}^{(j)T}{\vec{x}}^{(j)}$$
$$-{\alpha }^{(i)}(y^{(j)}(C-{\alpha }^{(i)}{y}^{(i)}))y^{(i)}{y}^{(j)}{\vec{x}}^{(i)T}{\vec{x}}^{(j)}$$
$$-{\alpha }^{(i)}{y}^{(i)}\sum _{k=1,k̸=i,j}^m{\alpha }^{(k)}{y}^{(k)}{\vec{x}}^{(i)T}{\vec{x}}^{(k)}-(y^{(j)}(C-{\alpha }^{(i)}{y}^{(i)}))y^{(j)}\sum _{k=1,k̸=i,j}^m{\alpha }^{(k)}{y}^{(k)}{\vec{x}}^{(j)T}{\vec{x}}^{(k)}$$
$$={\alpha }^{(i)}+(y^{(j)}(C-{\alpha }^{(i)}{y}^{(i)}))-\frac{1}{2}({\alpha }^{(i)}{)}^2{\vec{x}}^{(i)T}{\vec{x}}^{(i)}-\frac{1}{2}(C-{\alpha }^{(i)}{y}^{(i)}{)}^2{\vec{x}}^{(j)T}{\vec{x}}^{(j)}-{\alpha }^{(i)}((C-{\alpha }^{(i)}{y}^{(i)}))y^{(i)}{\vec{x}}^{(i)T}{\vec{x}}^{(j)}-{\alpha }^{(i)}{y}^{(i)}{v}^{(i)}-(C-{\alpha }^{(i)}{y}^{(i)})v^{(j)}+C$$

$$={\alpha }^{(i)}+(y^{(j)}(C-{\alpha }^{(i)}{y}^{(i)}))-\frac{1}{2}({\alpha }^{(i)}{)}^2{K}_{i,i}-\frac{1}{2}(C-{\alpha }^{(i)}{y}^{(i)}{)}^2{K}_{j,j}-{\alpha }^{(i)}((C-{\alpha }^{(i)}{y}^{(i)}))y^{(i)}{K}_{i,j}-{\alpha }^{(i)}{y}^{(i)}{v}^{(i)}-(C-{\alpha }^{(i)}{y}^{(i)})v^{(j)}+C$$
上式为了简便, 将 ${\vec{x}}^{(i)T}{\vec{x}}^{(j)}$ 简记为 $K_{i,j}$ (后文会用K代表核函数, 这里姑且认为此时的核函数 $K$ 为恒等映射),将上式对 ${\alpha }^{(i)}$ 求导, 并令其等于0, 可得:

$$\frac{\partial F({\alpha }^{(i)})}{\partial {\alpha }^{(i)}}=1-y^{(i)}{y}^{(j)}-{\alpha }^{(i)}{K}_{i,i}+y^{(i)}(C-{\alpha }^{(i)}{y}^{(i)})K_{j,j}-(C-{\alpha }^{(i)}{y}^{(i)}-{\alpha }^{(i)}{y}^{(i)})y^{(i)}{K}_{i,j}-y^{(i)}{v}^{(i)}+y^{(i)}{v}^{(j)}$$

$$=1-y^{(i)}{y}^{(j)}-{\alpha }^{(i)}(K_{i,i}+K_{j,j}-2K_{i,j})+C{y}^{(i)}{K}_{j,j}-C{y}^{(i)}{K}_{i,j}-y^{(i)}(v^{(i)}-v^{(j)})=0$$

下面对上式进行变形, 使得可以用 ${\alpha }_{old}^{(i)}$ 来更新 ${\alpha }_{new}^{(i)}$ .

因为SVM对数据点的预测值为: $f(\vec{x})={\sum }_{i=1}^m{\alpha }^{(i)}{y}^{(i)}K({\vec{x}}^{(i)},\vec{x})+b$, 则 $v^{(i)}$ 以及 $v^{(j)}$ 的值可以表示成:

$$v^{(i)}=\sum _{k=1,k̸=i,j}^m{\alpha }^{(k)}{y}^{(k)}{K}_{i,k}=f(x^{(i)})-{\alpha }^{(i)}{y}^{(i)}{K}_{i,i}-{\alpha }^{(j)}{y}^{(j)}{K}_{i,j}+b$$

$$v^{(j)}=\sum _{k=1,k̸=i,j}^m{\alpha }^{(k)}{y}^{(k)}{K}_{j,k}=f(x^{(j)})-{\alpha }^{(j)}{y}^{(j)}{K}_{j,j}-{\alpha }^{(i)}{y}^{(i)}{K}_{j,i}+b$$

将 ${\alpha }^{(j)}=y^{(j)}(C-{\alpha }^{(i)}{y}^{(i)})$ 带到上式, 可得到 $v^{(i)}-v^{(j)}$ 的表达式为:

$$v^{(i)}-v^{(j)}=f(x^{(i)})-f(x^{(j)})-{\alpha }^{(i)}{y}^{(i)}{K}_{i,i}+(y^{(j)}(C-{\alpha }^{(i)}{y}^{(i)}))y^{(j)}{K}_{j,j}-(y^{(j)}(C-{\alpha }^{(i)}{y}^{(i)}))y^{(j)}{K}_{i,j}+{\alpha }^{(i)}{y}^{(i)}{K}_{j,i}$$

$$=f(x^{(i)})-f(x^{(j)})-{\alpha }^{(i)}{y}^{(i)}{K}_{i,i}+C{K}_{j,j}-{\alpha }^{(i)}{y}^{(i)}{K}_{j,j}-C{K}_{i,j}+2{\alpha }^{(i)}{y}^{(i)}{K}_{i,j}$$

$$=f(x^{(i)})-f(x^{(j)})-{\alpha }^{(i)}{y}^{(i)}(K_{i,i}+K_{j,j}-2K_{i,j})+C{K}_{j,j}-C{K}_{i,j}$$

注意 $v^{(i)}-v^{(j)}$ 中 ${\alpha }^{(i)}$ 是更新前初始化的值, 我们将其记作 ${\alpha }_{old}^{(i)}$ ,以便与我们期望获得的更新后的分量 ${\alpha }_{new}^{(i)}$ 相区分 , 将 $v^{(i)}-v^{(j)}$ 的表达式代入 $\frac{\partial F({\alpha }^{(i)})}{\partial {\alpha }_{new}^{(i)}}$ 中 , 可得到:

$$\frac{\partial F({\alpha }_{new}^{(i)})}{\partial {\alpha }_{new}^{(i)}}=1-y^{(i)}{y}^{(j)}-{\alpha }_{new}^{(i)}(K_{i,i}+K_{j,j}-2K_{i,j})+C{y}^{(i)}{K}_{j,j}-C{y}^{(i)}{K}_{i,j}-y^{(i)}(f(x^{(i)})-f(x^{(j)})-{\alpha }_{old}^{(i)}{y}^{(i)}(K_{i,i}+K_{j,j}-2K_{i,j})+C{K}_{j,j}-C{K}_{i,j})$$

$$=(y^{(i)}{)}^2-y^{(i)}{y}^{(j)}-y^{(i)}f(x^{(i)})+y^{(i)}f(x^{(j)})-{\alpha }_{new}^{(i)}(K_{i,i}+K_{j,j}-2K_{i,j})+{\alpha }_{old}^{(i)}(K_{i,i}+K_{j,j}-2K_{i,j})$$

$$=f(x^{(j)})-y^{(j)}-(f(x^{(i)})-y^{(i)})-{\alpha }_{new}^{(i)}(K_{i,i}+K_{j,j}-2K_{i,j})+{\alpha }_{old}^{(i)}(K_{i,i}+K_{j,j}-2K_{i,j})$$

我们记 $E^{(i)}$ 为SVM预测值与真实值的误差: $E^{(i)}=f(x^{(i)})-y^{(i)}$ . 并令 $\eta =K_{i,i}+K_{j,j}-2K_{i,j}$ , 则最终的一阶导数表达式可以简化为:

$$\frac{\partial F({\alpha }_{new}^{(i)})}{\partial {\alpha }_{new}^{(i)}}=-\eta {\alpha }_{new}^{(i)}+\eta {\alpha }_{old}^{(i)}+y^{(i)}(E^{(j)}-E^{(i)})=0$$

由此, 我们可以根据当前的参数值, 直接得到更新后的参数值:

$${\alpha }_{new}^{(i)}={\alpha }_{old}^{(i)}+\frac{y^{(i)}(E^{(j)}-E^{(i)})}{\eta }=>{\alpha }_{new,unclipped}^{(i)}\text{\hspace{1em}(6)}$$

这里注意, (6)式的推导过程并未考虑下面的约束, 因此, 我们暂且将(6)式中的 ${\alpha }_{new}^{(i)}$ 记作 ${\alpha }_{new,unclipped}^{(i)}$, 然后考虑如下约束:

$${\alpha }^{(i)}{y}^{(i)}+{\alpha }^{(j)}{y}^{(j)}=-\sum _{k=1,k̸=i,j}^m{\alpha }^{(k)}{y}^{(k)}=C$$

$$0\le {\alpha }^{(i)},{\alpha }^{(j)}\le C$$

我们分别以 ${\alpha }^{(i)},{\alpha }^{(j)}$ 为坐标轴, 于是上述约束可以看作是一个方形约束(Bosk constraint), 在二维平面中我们可以看到这是个限制在方形区域中的直线, 如下图所示, 直线在方形区域内滑动(对应不同的截距), 同时 ${\alpha }_{new}^{(i)}$ 的上下边界也在改变:

当 $y^{(i)}̸=y^{(j)}$ 时(如左图), 限制条件可以写成 ${\alpha }^{(i)}-{\alpha }^{(j)}=\xi$ ,根据 $\xi$ 的正负可以得到不同的上下界, 因此 ${\alpha }_{new}^{(i)}$ 的上下界可以统一表示成:

• 下界: $L=\max (0,{\alpha }_{old}^{(i)}-{\alpha }_{old}^{(j)})$
• 上界: $H=\min (C,C+{\alpha }_{old}^{(i)}-{\alpha }_{old}^{(j)})$

当 $y^{(i)}=y^{(j)}$ 时(如右图), 限制条件可以写成 ${\alpha }^{(i)}+{\alpha }^{(j)}=\xi$ , 于是 ${\alpha }_{new}^{(i)}$ 的上下界为:

• 下界: $L=\max (0,{\alpha }_{old}^{(i)}+{\alpha }_{old}^{(j)}-C)$
• 上界: $H=\min (C,{\alpha }_{old}^{(i)}+{\alpha }_{old}^{(j)})$

根据得到的上下界, 我们可以得到"修剪"后的 ${\alpha }_{new,clipped}^{(i)}$ :

$${\alpha }_{new,clipped}^{(i)}=\{\begin{array}{ll}H& {\alpha }_{new,unclipped}^{(i)}>H\\ {\alpha }_{new,unclipped}^{(i)}& L\le {\alpha }_{new,unclipped}^{(i)}\le H\\ L& {\alpha }_{new,unclipped}^{(i)}<L\end{array}\text{\hspace{1em}(7)}$$

得到了 ${\alpha }_{new,clipped}^{(i)}$ 以后, 便可以根据 ${\alpha }_{old}^{(i)}{y}^{(i)}+{\alpha }_{old}^{(j)}{y}^{(j)}={\alpha }_{new}^{(i)}{y}^{(i)}+{\alpha }_{new}^{(j)}{y}^{(j)}$ 得到 ${\alpha }_{new}^{(j)}$ :

$${\alpha }_{new,clipped}^{(j)}={\alpha }_{old}^{(j)}+y^{(i)}{y}^{(j)}({\alpha }_{old}^{(i)}-{\alpha }_{new,clipped}^{(i)})\text{\hspace{1em}(8)}$$

通过(7)(8)式, 我们便可以高效的计算出更新后的 ${\alpha }^{(i)}$ 和 ${\alpha }^{(j)}$ .

当更新了一对 ${\alpha }^{(i)}$ 和 ${\alpha }^{(j)}$ 之后, 我们需要计算偏移项 $b$ 注意到, 对于任意支持向量 $({\vec{x}}^{(s)},y^{(s)})$ , 都有 $y^{(s)}f(x^{(s)})=1$ , 即:

$$y^{(s)}(\sum _{i\in S}{\alpha }^{(i)}{y}^{(i)}{\vec{x}}^{(i)T}{\vec{x}}^{(s)}+b)=1$$

式中 $S$ 为所有支持向量的下标集. 理论上, 可以选取任意支持向量来获得 $b$ , 但现实中我们采取更加鲁棒的做法: 使用所有支持向量求解的平均值(式中所有量均已知, $\vec{\alpha }$ 使用的是支持向量对应的系数):

$$b=\frac{1}{|S|}\sum _{s\in S}(\frac{1}{y^{(s)}}-\sum _{i\in S}{\alpha }^{(i)}{y}^{(i)}{\vec{x}}^{(i)T}{\vec{x}}^{(s)})$$

还有另一种更新 $b$ 的方式是, 只使用当前更新的变量 ${\alpha }_{new}^{(i)}$ 和 ${\alpha }_{new}^{(j)}$ 来对 $b$ 进行更新,如此一来, 为了满足KKT条件, 就有以下几种情况:

• 如果 ${\alpha }_{new}^{(i)}$ 在界内(即此时 $0<{\alpha }_{new}^{(i)}<C$ , 当前对应样本为支持向量), 则 $b=b_{new}^{(i)}$
• 如果 ${\alpha }_{new}^{(j)}$ 在界内(即此时 $0<{\alpha }_{new}^{(j)}<C$ , 当前对应样本为支持向量), 则 $b=b_{new}^{(j)}$
• 如果 ${\alpha }_{new}^{(i)}$ 和 ${\alpha }_{new}^{(j)}$ 都在界上,且 $L̸=H$时, 则 $b_{new}^{(i)}$ 和 $b_{new}^{(j)}$ 之间的所有的值都符合KKT条件, SMO一般选择终点作为新的偏移量: $b_{new}=\frac{b_{new}^{(i)}+b_{new}^{(j)}}{2}$

以上讨论中, $b_{new}^{(i)}$ 的推导过程为, 当 ${\alpha }_{new}^{(i)}$ 在界内时, 对应的样本为支持向量 (根据KKT条件得出) , 此时 $y^{(i)}({\vec{w}}^T{\vec{x}}^{(i)}+b)=1$ , 两边同时乘上 $y^{(i)}$ ,得到 ${\sum }_{k=1}^m{\alpha }^{(k)}{y}^{(k)}{K}_{k,i}+b=y^{(i)}$, 将该式展开, 得到:

$$b_{new}^{(i)}=y^{(i)}-\sum _{k=1,k̸=i,j}^m{\alpha }^{(k)}{y}^{(k)}{K}_{k,i}-{\alpha }_{new}^{(i)}{y}^{(i)}{K}_{i,i}-{\alpha }_{new}^{(j)}{y}^{(j)}{K}_{j,i}$$

其中前两项可以写成:

$$y^{(i)}-\sum _{k=1,k̸=i,j}^m{\alpha }^{(k)}{y}^{(k)}{K}_{k,i}=-E^{(i)}+{\alpha }_{old}^{(i)}{y}^{(i)}{K}_{i,i}+{\alpha }_{old}^{(j)}{y}^{(j)}{K}_{j,i}+b_{old}$$

于是有:

$$b_{new}^{(i)}=-E^{(i)}-({\alpha }_{new}^{(i)}-{\alpha }_{old}^{(i)})y^{(i)}{K}_{i,i}-({\alpha }_{new}^{(j)}-{\alpha }_{old}^{(j)})y^{(j)}{K}_{j,i}+b_{old}$$

同理有:
$$b_{new}^{(j)}=-E^{(j)}-({\alpha }_{new}^{(j)}-{\alpha }_{old}^{(j)})y^{(j)}{K}_{j,j}-({\alpha }_{new}^{(i)}-{\alpha }_{old}^{(i)})y^{(j)}{K}_{i,j}+b_{old}$$

如何恰当的选取需要更新的变量 ${\alpha }^{(i)}$ 和 ${\alpha }^{(j)}$

采用启发式的规则来选取, 直觉上我们知道, 我们应该首先优化那些违反KKT条件最严重的样本, 因此我们首先首先遍历所有满足约束条件 $0<{\alpha }^{(i)}<C$ 的样本点, 即位于间隔边界上的支持向量点(直觉上也能发现这些点最有可能分类错误), 检验它们是否满足KKT条件. 如果这些样本都满足KKT条件，则遍历整个训练样本集，判断它们是否满足KKT条件，直到找到一个违反KKT条件的变量 ${\alpha }^{(i)}$ (即使 ${\alpha }^{(i)}$ 位于边界上,也有可能违反KKT条件).

当找到了第一个分量 ${\alpha }^{(i)}$ 后, 接下来寻找第二个分类 ${\alpha }^{(j)}$, 而选取的标准是使得它有足够大的变化, 也就是说使选取的两变量所对应的样本之间的间隔最大, 一种直观的解释是, 这样的两个变量有很大的差别, 与对两个相似的变量进行更新相比(相似说明有可能属于同一类, 更新意义不大), 对它们进行更新会带给目标函数值更大的变化. 第二个乘子的迭代步长正比于 $|E^{(i)}-E^{(j)}|$ , 因此, 我们希望选择的乘子能够具有最大的 $|E^{(i)}-E^{(j)}|$. 即当 $E^{(i)}$ 为正时选择绝对值最大的赋值 $E^{(j)}$ , 反之, 选择正值最大的 $E^{(i)}$

1.3 核函数

在之前的讨论中,我们假设 训练样本 是线性可分的, 然而在现实任务中, 原始样本空间内也许并不存在一个能正确划分两类样本的超平面, 对于这样的问题, 可将一样本从原始空间映射到一个更高维的特征空间, 使得样本在这个特征空间内线性可分 .

需要知道, 如果原始空间是有限维, 即属性数有限, 那么一定存在一个高维特征空间使样本可分

令 $\varphi (\vec{x})$ 表示将 $\vec{x}$ 映射后的特征向量, 于是, 在特征空间中划分超平面所对应的模型可表示为:

$$f(\vec{x})={\vec{w}}^T\varphi (\vec{x})+b$$

类似式(1), 有:

$$\arg \underset{\vec{w},b}{\min }\frac{1}{2}\Vert w{\Vert }^2$$

$$s.t.y^{(i)}({\vec{w}}^T\varphi ({\vec{x}}^{(i)})+b),i=1,2,..,m$$

其对偶问题为:

$$\arg \underset{\vec{\alpha }}{\max }=\sum _{i=1}^m{\alpha }^{(i)}-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }^{(i)}{\alpha }^{(j)}{y}^{(i)}{y}^{(j)}\varphi ({\vec{x}}^{(i)}{)}^T\varphi ({\vec{x}}^{(j)})\text{\hspace{1em}(9)}$$

$$s.t.\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}=0,{\alpha }^{(i)}\ge 0,i=1,2,...,m$$

求解上式涉及到计算 $\varphi ({\vec{x}}^{(i)}{)}^T\varphi ({\vec{x}}^{(j)}$ , 这是样本 ${\vec{x}}^{(i)}$ 与 ${\vec{x}}^{(j)}$ 映射到特征空间之后的内积, 由于特征空间维数可能很高, 甚至是无穷维, 因此直接计算 $\varphi ({\vec{x}}^{(i)}{)}^T\varphi ({\vec{x}}^{(j)}$ 是很困难的, 为了避开这个障碍, 可以设想这样一个函数:

$$K({\vec{x}}^{(i)},{\vec{x}}^{(j)})=\varphi ({\vec{x}}^{(i)}{)}^T\varphi ({\vec{x}}^{(j)}$$

即 $x^{(i)}$ 与 $x^{(j)}$ 在特征空间的内积等于它们在原始样本空间中通过函数 $K(\cdot ,\cdot )$ 计算的结果. (有可能是先内积再函数映射, 也有可能是求范式再函数映射). 于是(9)式可重写为:

$$\arg \underset{\vec{\alpha }}{\max }\sum _{i=1}^m{\alpha }^{(i)}-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }^{(i)}{\alpha }^{(j)}{y}^{(i)}{y}^{(j)}K({\vec{x}}^{(i)},{\vec{x}}^{(j)})$$

$$s.t.\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}=0$$

$${\alpha }^{(i)}\ge 0,i=1,2,...,m$$

注意, 前面几个小节的推导过程也用了符号 $K$ , 但是就像前面所说的, 前几个小节的 $K$ 是为了方便书写而使用的, 你可以把它看作是一个恒等映射的核函数

当我们解出上式得到 $\vec{\alpha }$ 后, 就可以得到划分超平面对应的模型(式中 $\vec{x}$ 为样本点, $f(\vec{x})$ 为该样本点的预测结果):

$$f(\vec{x})={\vec{w}}^T\vec{x}+b=\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}K(\vec{x},{\vec{x}}^{(j)})+b$$

核函数定理: 令 $\chi$ 为输入空间 $K(\cdot ,\cdot )$　是定义在　$\chi \times \chi$ 上的对称函数, 则 $K(\cdot ,\cdot )$ 是核函数 当且仅当 对于任意数据 $$\begin{gathered} D= \\ {\vec{x}}^{(1)},{\vec{x}}^{(2)},...,{\vec{x}}^{(m)} \end{gathered}$$ , 核矩阵 $K$ 总是半正定的

从以上分析可知, 核函数的选择决定了特征空间的好坏, 因此, 一个合适的核函数,就成为了支持向量机的最大变数.

下面是几种常用的核函数:

名称	表达式	参数
线性核
高斯核
拉普拉斯核
Sigoid核

此外,还可以通过函数组合得到:

• 若 $K_1$ 和 $K_2$ 都是核函数 ,则对任意的正数 ${\gamma }_1,{\gamma }_2$ , 其线性组合 ${\gamma }_1{K}_1+{\gamma }_2{K}_2$ 也是核函数
• 若 $K_1$ 和 $K_2$ 为核函数, 则函数的直积 $K_1\otimes K_2(\vec{x},\vec{z})=K_1(\vec{x},\vec{z})K_2(\vec{x},\vec{z})$
• 若 $K_1$ 是核函数, 则对任意函数 $g(\vec{x})$, $K(\vec{x},\vec{z})=g(\vec{x})K_1(\vec{x},\vec{z})g(\vec{z})$ 也是核函数

1.4 软间隔与正则化

在实现任务中, 往往很难确定合适的核函数, 使得训练样本在特征空间中线性可分, 即便是找到了, 也无法断定是否是由于过拟合造成的 , 因此, 我们需要 允许支持向量机在一些样本上出错 , 以缓解上面的问题.

硬间隔(hard margin)与软间隔(soft margin)的区分:

• 硬间隔: 所有样本都必须分类正确
• 软间隔: 允许某些样本不满足约束(11)式(即,预测结果和真实结果符号相反,分类错误,或预测结果绝对值小于1,相当于越过了支持向量划定的边界)

我们要在最大化间隔的同时, 使得不满足约束的样本应尽可能的少, 于是, 优化目标可写为:

$$\underset{\vec{w},b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{l}_{0/1}(y^{(i)}({\vec{w}}^T{x}^{(i)}+b)-1)\text{\hspace{1em}(10)}$$

$$y^{(i)}({\vec{w}}^T{\vec{x}}^{(i)}+b)\ge 1\text{\hspace{1em}(11)}$$

其中, $C>0$ 是一个常数(注意与前几节推导SVM时的常数区分), $l_{0/1}$ 是 “0/1 损失函数”:

$$l_{0/1}(z)=\{\begin{array}{ll}1,& \text{if }z<0;\\ 0,& \text{otherwise}.\end{array}$$

当C无穷大时, (10)式就会迫使所有样本均满足约束, 也就是令所有训练样本都分类正确(容易产生过拟合), 当C取有限值时, 则允许有一些样本不满足约束(11)式.

但是, $l_{0/1}$ 非凸, 不连续, 数学性质不好, 因此, 通常使用其他函数来替代, 称为" 替代损失", 下面为三种常用的替代损失:

• hinge损失: $l_{hinge}(z)=max(0,1-z)$
• 指数损失(exponential loss): $l_{exp}(z)=exp(-z)$
• 对率损失(logistic loss): $l_{log}(z)=log(1+exp(-z))$

假设采用hinge损失损失, 然后可以引入"松弛变量"(slack variables) ${\xi }^{(i)}\ge 0$ ,每一个样本都有一个对应的松弛变量, 用以表征该样本不满足约束(11)的程度 则可将(10)式重写为:

$$\underset{\vec{w},b,{\xi }^{(i)}}{\min }\frac{1}{2}\Vert \vec{w}{\Vert }^2+C\sum _{i=1}^m{\xi }^{(i)}\text{\hspace{1em}(12)}$$

$$s.t.y^{(i)}({\vec{w}}^T{x}^{(i)}+b)\ge 1-{\xi }^{(i)}$$

$${\xi }^{(i)}\ge ,i=1,2,...,m.$$

可以看出, 上式是与之前推导相似的二次规划问题, 只不过是约束条件变的宽松了(为了允许一些样本犯错), 因此,同样利用拉格朗日乘子法求解, 首先得到上式的拉格朗日函数:

$$L(\vec{w},b,\vec{\alpha },\vec{\xi },\vec{\mu })=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }^{(i)}+\sum _{i=1}^m{\alpha }^{(i)}(1-{\xi }^{(i)}-y^{(i)}({\vec{w}}^T{\vec{x}}^{(i)}+b))-\sum _{i=1}^m{\mu }^{(i)}{\xi }^{(i)}$$

其中, ${\alpha }^{(i)}\ge 0,{\mu }^{(i)}\ge 0$ 是拉格朗日乘子, 令 $L(\vec{w},b,\vec{\alpha },\vec{\xi },\vec{\mu })$ 对 $\vec{w},b,\vec{\alpha },\vec{\xi }$ 求偏导, 并令其为0 , 可得:

$$\vec{w}=\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}{\vec{x}}^{(i)}$$

$$0=\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}$$

$$C={\alpha }^{(i)}+{\mu }^{(i)}$$

得到(12)式对应的对偶问题如下:

$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }^{(i)}-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }^{(i)}{\alpha }^{(j)}{y}^{(i)}{y}^{(j)}{K}_{i,j}$$

$$s.t.\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}=0$$

$$0\le {\alpha }^{(i)}\le C,i=1,2,...,m$$

可以看到, 此时, ${\alpha }^{(i)}$ 的约束条件变成了 $0\le {\alpha }^{(i)}\le C$ , 上式的KKT条件要求为:

$$\{\begin{array}{l}{\alpha }^{(i)}\ge 0,{\mu }^{(i)}\ge 0\\ y^{(i)}f({\vec{x}}^{(i)})-1+{\xi }^{(i)}\ge 0,\\ {\alpha }^{(i)}(y^{(i)}f({\vec{x}}^{(i)})-1+{\xi }^{(i)})=0,\\ {\xi }^{(i)}\ge 0,{\mu }^{(i)}{\xi }^{(i)}=0\end{array}$$

于是, 从KKT条件中我们可以看出, 对任意的训练样本 $({\vec{x}}^{(i)},y^{(i)})$, 总有 ${\alpha }^{(i)}=0$ 或 $y^{(i)}f({\vec{x}}^{(i)})=1-{\xi }^{(i)}$.

• 若 ${\alpha }^{(i)}=0$, 则该样本不会对 $f(\vec{x})$ 产生影响.
• 若 ${\alpha }^{(i)}>0$, 则必有 $y^{(i)}f({\vec{x}}^{(i)})=1-{\xi }^{(i)}$, 即该样本是支持向量
• 因为 $C={\alpha }^{(i)}+{\mu }^{(i)}$ , 所以, 若 ${\alpha }^{(i)}<C$ , 则有 ${\mu }^{(i)}>0$ , 进而有 ${\xi }^{(i)}=0$, 即该样本在最大间隔边界上(是否也就是支持向量?)
• 若 ${\alpha }^{(i)}=C$ , 则有 ${\mu }^{(i)}=0$, 此时若 ${\xi }^{(i)}\le 1$, 则该样本落在最大间隔内部, 若 ${\xi }^{(i)}>1$, 则该样本被错误分类.

以上讨论, 我们可以看出, 最终的模型依然只与支持向量有关, 保持了稀疏性(hinge损失有一块平坦的零区域,这使得SVM的解具有稀疏性)

以上是对使用hinge损失时讨论的情况, 还可以将其替换成别的损失函数以得到其他学习模型, 这些模型的性质与所用的替代函数直接相关, 但它们具有一个共性: 优化目标中的第一项用来描述划分超平面的"间隔"大小, 另一项用来表示训练集上的误差, 可写为更一般的形式:

$$\underset{f}{\min }\Omega (f)+C\sum _{i=1}^{m}l(f({\vec{x}}^{(i)}),y^{(i)})$$

其中, $\Omega (f)$ 称为"结构风险"(structural risk), 用于描述模型 $f$ 自身的性质; 第二项 $C{\sum }_{i=1}^{m}l(f({\vec{x}}^{(i)})$ 称为"经验风险"(empirical risk), 用于描述模型与训练数据的契合程度. $C$ 用于对二者进行折衷.

从预测误差的角度来看, 第二项相当于模型误差, 第一项相当于正则化项, 表述了模型本身的性质, 一方面, 这为引入领域知识和用户意图提供了途径, 另一方面, 该信息有助于消减假设空间, 降低过拟合风险

3. 问答

为什么SVM的分类结果仅依赖于支持向量?

百机p53

核函数中不同参数的影响

https://mp.weixin.qq.com/s?__biz=MzU4MjQ3MDkwNA==&mid=2247484495&idx=1&sn=4f3a6ce21cdd1a048e402ed05c9ead91&chksm=fdb699d8cac110ce53f4fc5e417e107f839059cb76d3cbf640c6f56620f90f8fb4e7f6ee02f9&scene=21#wechat_redirect

既然深度学习技术性能表现以及全面超越SVM, SVM还有存在的必要吗?

6.Reference

[1] https://mp.weixin.qq.com/s?__biz=MzU4MjQ3MDkwNA==&mid=2247483937&idx=1&sn=84a5acf12e96727b13fd7d456c414c12&chksm=fdb69fb6cac116a02dc68d948958ee731a4ae2b6c3d81196822b665224d9dab21d0f2fccb329&scene=21#wechat_redirect

[2] 西瓜书

[3] http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.html

https://zhuanlan.zhihu.com/p/29212107