支持向量机-理论推导

---

1. 间隔与支持向量

1.1 几个概念

支持向量机与感知机类似，都是在样本空间中找到划分超平面，将不同类别的样本分开。在样本空间中，划分超平面可以使用线性方程进行描述：
$$\begin{array}{r}0={\mathbf{w}}^T\mathbf{x}+b\end{array}\text{\hspace{1em}(1.1)}$$
其中，$\mathbf{w}=[w_1,w_2,...,w_m]$为法向量，决定了超平面的方向，$b$为位移项，决定了超平面距离原点的位置。

一般来说，$|{\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b|$决定了点$x_i$到超平面的距离；${\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b$与$y_i$的符号是否一致决定了分类是否正确。

另外，做以下定义：函数间隔、几何间隔、间隔、支持向量。

1.1.1函数间隔$\hat{\gamma }$

对于给定的训练数据集$T=[({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),...,({\mathbf{x}}_{\mathbf{N}},y_N)]$和超平面$(\mathbf{w},b)$，定义超平面$(\mathbf{w},b)$关于样本点$({\mathbf{x}}_{\mathbf{i}},y_i)$的函数间隔为
$$\begin{array}{r}{\hat{\gamma }}_i=y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)\end{array}\text{\hspace{1em}(1.2-1)}$$
令：
$$\begin{array}{r}\hat{\gamma }=\underset{i=1,2,...,N}{\min }{\gamma }_i\end{array}\text{\hspace{1em}(1.2-2)}$$

1.1.2 几何间隔$\gamma$

当我们成比例的改变$w$和$b$时，函数间隔也会发生等比例的变化，因此，对分离超平面的法向量$w$规范化，令其模长为1，使得间隔确定，此时称为几何间隔。

1.1.3 支持向量

间隔$\gamma$越大，说明不同类分的越开，因此可以把目标理解为：
$$\begin{gathered} \underset{w,b}{\max }\gamma =\frac{\hat{\gamma }}{||\mathbf{w}||} \\ s.t.y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)\ge \hat{\gamma }\text{\hspace{1em}(1.3)} \end{gathered}$$
而在公式(1.5)中，$\hat{\gamma }$为何值并不影响最后的求解，因为$\hat{\gamma }$与$\mathbf{w},b$成比例变化。因此，取$\hat{\gamma }=1$。
那么，若存在${\mathbf{x}}_{\mathbf{k}},k=1,2,...,l;l<N$，距离超平面最近，有$y_k({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{k}}+b)=1$，那么这$k$个训练样本点被称为支持向量。其中两个异类支持向量到超平面的距离之和为：$2\gamma =\frac{2}{||\mathbf{w}||}$

1.2 小结

• 其实这一部分与感知机没啥区别，就是定义了几个概念：函数间隔，几何间隔，支持向量。
• 观察图6.2可知，决定参数$\mathbf{w},b$的其实就只有支持向量这$l$个点，其他的点你皮任你皮，对我模型结果毫无影响。
  

2. 问题优化

2.1 确定目标

公式(1.5)就可以理解为：即要求（2只是一个系数，不用过分在意）
$$\begin{array}{r}\underset{w,b}{\max }\frac{2}{||\mathbf{w}||}\iff \underset{w,b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2\\ s.t.y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)\ge 1\end{array}\text{\hspace{1em}(2.1)}$$
引入拉格朗日乘子，构造拉格朗日函数，借助对偶问题(啥是对偶问题？)，有：
$$\begin{array}{r}L(w,b,\alpha )=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^N{\alpha }_i(1-y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b))\end{array}\text{\hspace{1em}(2.2)}$$
分别计算$L(\mathbf{w},b,\alpha )$对$w$和$b$求导，并令其为$0$：
$$\{\begin{array}{cc}\mathbf{w}=& {\sum }_{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}\\ 0=& {\sum }_{i=1}^N{\alpha }_i{y}_i\end{array}\text{\hspace{1em}(2.3)}$$
将(2.3)代入(2.2)，则有：
$$\begin{array}{rl}\underset{\alpha }{\max }L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}\sum _{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_{\mathbf{j}}+\sum _{i=1}^N{\alpha }_i(1-y_i(\sum _{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_{\mathbf{j}}^{\mathbf{T}}\cdot {\mathbf{x}}_{\mathbf{i}}+b))\\ & =\frac{1}{2}\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}\sum _{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_{\mathbf{j}}-\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}\sum _{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_{\mathbf{j}}+\sum _{i=1}^N{\alpha }_i{y}_{i}b+\sum _{i=1}^N{\alpha }_i\\ & =\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}\sum _{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_{\mathbf{j}}\\ & =\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}}\\ s.t\sum _{i=1}^N{\alpha }_i{y}_i=0,& \\ {\alpha }_i\ge 0& \end{array}\text{\hspace{1em}(2.4)}$$

根据(啥是对偶问题?)可知，公式(2.4)的KKT条件为：
$$\{\begin{array}{c}{\alpha }_i\ge 0\\ 1-y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)\le 0\\ {\alpha }_i(1-y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b))=0,i=1,2,...,N\end{array}\text{\hspace{1em}(2.4.1)}$$

2.2 换个角度

求公式(2.4)的最大等价于求公式(2.5)的最小：
$$\begin{array}{rl}\underset{\alpha }{\min }L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}}-\sum _{i=1}^N{\alpha }_i\\ s.t\sum _{i=1}^N{\alpha }_i{y}_i=0,& \\ {\alpha }_i\ge 0& \end{array}\text{\hspace{1em}(2.5)}$$

接下来，如果解出每一个$\alpha$就可以算出$\mathbf{w}$。具体怎么求，稍后再说。

又因为前面提过：若存在${\mathbf{x}}_{\mathbf{k}},k=1,2,...,l;l<N$，距离超平面最近，有$y_k({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{k}}+b)=1$，那么这$k$个训练样本点被称为支持向量。其中两个异类支持向量到超平面的距离之和为：$2\gamma =\frac{2}{||\mathbf{w}||}$

所以，在已知了每一个$\alpha$之后，可以计算出$\mathbf{w},b$分别为：
$$\{\begin{array}{cc}\mathbf{w}=& {\sum }_{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}\\ b=& y_k-{\mathbf{w}}^T{\mathbf{x}}_{\mathbf{k}}\end{array}\text{\hspace{1em}(2.6)}$$
其中${\mathbf{x}}_{\mathbf{k}}$为支持向量样本中的任意一个值。为了保持鲁棒性，$b$使用所有支持向量计算其均值，因此：
$$\{\begin{array}{cc}\mathbf{w}=& {\sum }_{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}\\ b=& \frac{1}{l}{\sum }_{k=1}^l(y_k-{\mathbf{w}}^T{\mathbf{x}}_{\mathbf{k}})\end{array}\text{\hspace{1em}(2.7)}$$
其中，$N$样本空间的大小，$l$为所有支持向量组成的样本空间大小，$\mathbf{w}$是一个$1\ast d$维的向量。

留疑！！！

• 问题1：到目前为止，计算出的$\mathbf{w}$和$b$都没有体现：
  “决定参数$\mathbf{w},b$的其实就只有支持向量这$l$个点，其他的点你皮任你皮，对我模型结果毫无影响。”
  的合理性，不知道最后算法计算后的$\alpha$结果是不是能体现。。。
• 问题2：西瓜书中的$b$的计算，个人感觉西瓜书125页公式(6.17)是有点奇怪的。书中的$\mathbf{w}$是在整个样本空间上计算得出的（这个没问题），但是$b$却通过支持向量计算得出的$\mathbf{w}$代入公式(2.6)计算得出。
  

解答：

• 问题1：记$\mathbf{\alpha }=({\alpha }_1,{\alpha }_2,...,{\alpha }_N)$为最后的计算结果，在这个计算结果中，一定有一个值（记为${\alpha }_{k^{\prime }}$）满足${\alpha }_{k^{\prime }}>0$，而且有其所对应的$({\mathbf{x}}_{{\mathbf{k}}^{\prime }},y_{k^{\prime }})$正好满足$y_{k^{\prime }}({\mathbf{w}}^T{\mathbf{x}}_{{\mathbf{k}}^{\prime }}+b)=1$。
  1. 为什么一定有一个${\alpha }_{k^{\prime }}>0$?
     反证法：假设$\mathbf{\alpha }=0$，那么根据公式(2.6)，有$\mathbf{w}=0$，在拉格朗日乘子、KKT条件与对偶问题中提到过，如果拉格朗日乘子为0，说明所有的点都在限制条件所构成函数边界的内部，也就不存在什么支持向量了。所以，一定有一个${\alpha }_{k^{\prime }}>0$。
  2. 为什么$y_{k^{\prime }}({\mathbf{w}}^T{\mathbf{x}}_{{\mathbf{k}}^{\prime }}+b)=1$？
     KKT的互补条件(公式2.4.1)：${\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b))=0$，那么，在${\alpha }_{k^{\prime }}>0$的情况下，要满足条件，只能有$y_{k^{\prime }}({\mathbf{w}}^T{\mathbf{x}}_{{\mathbf{k}}^{\prime }}+b)=1$。这不就是支持向量吗！！！
• 问题2：《统计学习方法》里面是整个样本空间，不是支持向量构成的样本空间，而且西瓜书里没交代$m$是什么鬼，所以单方面宣布是笔误好了qwq。
  

---

3. 线性支持向量机和软间隔最大化

3.1 线性支持向量机

训练集中总有数据（记为$({\mathbf{x}}_{\mathbf{u}},y_u)$）不能满足$y_u({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{u}}+b)\ge 1$这个条件（红圈中的点），删又不能删，只好帮他一把，修改一下底线，引入松弛变量$\xi \ge 0$。这种修改底线的做法，叫做软间隔，原先叫做硬间隔。

这样，就有了：线性支持向量机（我要吐槽一句，不知道谁取的名字，误导性炒鸡强，人家本意原来是：数据集为线性不可分时的线性支持向量机。。。）

为了使软间隔最大化，限制条件变为：
$$\begin{array}{r}{y}_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)\ge 1-{\xi }_i\end{array}\text{\hspace{1em}(3.1)}$$

目标函数变为，

$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^N{\xi }_i\\ s.t.& y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)\ge 1-{\xi }_i,i=1,2,...,N\\ & {\xi }_i\ge 0,i=1,2,...,N\end{array}\text{\hspace{1em}(3.2)}$$

其中，这里，$C>0$称为惩罚参数，一般由应用问题决定，$C$值大时对误分类的惩罚增大，$C$值小时对误分类的惩罚减小。最小化目标函数(1.2)包含两层含义：

• $\frac{1}{2}||\mathbf{w}||$尽量小，即间隔尽量大。
• 使误分类点的个数尽量小，C是调和二者的系数。

3.2 确定目标

引入拉格朗日乘子，构造朗格朗日函数：
$$\begin{array}{r}L(\mathbf{w},b,\xi ,\alpha ,\mu )=\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i\end{array}\text{\hspace{1em}(3.3)}$$
公式(3.3)分别对$\mathbf{w},b,\xi$ 求导：
$$\{\begin{array}{cc}{▽}_{\mathbf{w}}L(\mathbf{w},b,\xi ,\alpha ,\mu )=& \mathbf{w}-{\sum }_{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}\\ {▽}_{b}L(\mathbf{w},b,\xi ,\alpha ,\mu )=& {\sum }_{i=1}^N{\alpha }_i{y}_i\\ {▽}_{{\xi }_i}L(\mathbf{w},b,\xi ,\alpha ,\mu )=& C-{\alpha }_i-{\mu }_i\end{array}\text{\hspace{1em}(3.4)}$$
令(3.4)中三式均为0，代入公式(3.3)中有：
$$\begin{array}{rl}\underset{\alpha }{\min }L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}}-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0,\\ & C-{\alpha }_i-{\mu }_i=0,\\ & {\alpha }_i\ge 0,\\ & {\mu }_i\ge 0,i=1,2,...,N\end{array}\text{\hspace{1em}(3.5)}$$

因为我们的重点是求$\alpha$，所以对$\alpha$的限制条件越多越好，所以公式(3.5)又可以写成
$$\begin{array}{rl}\underset{\alpha }{\min }L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}}-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0,\\ & C\ge {\alpha }_i\ge 0,i=1,2,...,N\end{array}\text{\hspace{1em}(3.6)}$$

3.3 线性支持向量机的支持向量

在下图中，分离超平面由实线表示，间隔边界由虚线表示，正例点由“。”表示，负例点由“×”表示。

留疑！！！
abcd这些点与${\alpha }_i$之间的对应状态是怎样的？

解答
先看看公式(2.2)和公式(3.3)：
$$\begin{array}{rl}L(w,b,\alpha )=& \frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^N{\alpha }_i(1-y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b))\\ =& \frac{1}{2}||\mathbf{w}|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)+\sum _{i=1}^N{\alpha }_i\end{array}\text{\hspace{1em}(2.2)}$$
$$\begin{array}{rl}L(\mathbf{w},b,\xi ,\alpha ,\mu )=& \frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i\\ =& \frac{1}{2}||\mathbf{w}|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)+\sum _{i=1}^N{\alpha }_i+(C-{\alpha }_i-{\mu }_i)\sum _{i=1}^N{\xi }_i\end{array}\text{\hspace{1em}(3.3)}$$
其KKT条件为：
$$\{\begin{array}{c}{\alpha }_i\ge 0,{\mu }_i\ge 0\\ y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)-1+{\xi }_i\ge 0\\ {\alpha }_i(y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)-1+{\xi }_i)=0\\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0\end{array}$$
根据(啥是对偶问题?)可知：

• 若$\alpha =0$则点不会对$({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)$有影响，故而是大部分远离支持向量且正确分类的点，有$y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)>1-{\xi }_i$。
• 若$\alpha >0$，则说明必有$y_i({\mathbf{w}}^T\cdot {\mathbf{x}}_{\mathbf{i}}+b)=1-{\xi }_i$。
  • 若$C>\alpha >0$，因为$C={\alpha }_i+{\mu }_i$，所以${\mu }_i>0$，则${\xi }_i=0$，此时为支持向量，如b点。
  • 若$C=\alpha$，因为$C={\alpha }_i+{\mu }_i$，所以${\mu }_i=0$，则有：
    • 若$1\ge {\xi }_i>0$，此时落在最大间隔内部，如c点。
    • 若${\xi }_i>1$，此时误分类，如a,d点。

---

4. 核技巧

4.1 核技巧之劳动改造

上面的数据集都有一个要求：那就是数据集线性可分，再不济也要基本可分（即大部分的点要线性可分），但是，如果数据集超出了容忍的底线怎么办？比如过像这样，下图这类数据集就GG了。

对于这种不听话的数据集，我们需要对其进行改造：具体咋改造呢？请参见核技巧。改造之后的数据集如何使用呢？观察到在公式(3.6)中，
$$\begin{array}{rl}\underset{\alpha }{\min }L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}}-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0,\\ & C\ge {\alpha }_i\ge 0,i=1,2,...,N\end{array}\text{\hspace{1em}(3.6)}$$
只涉及输入实例与实例之间的内积。因此，可以用使用核函数$K(x_i,x_j)=(\varphi (x_i),\varphi (x_j))$代替，此时，公式(3.6)变为
$$\begin{array}{rl}\underset{\alpha }{\min }L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0,\\ & C\ge {\alpha }_i\ge 0,i=1,2,...,N\end{array}\text{\hspace{1em}(4.1)}$$

这样，经过映射函数将原来的输入空间变换到一个新的特征空间，将输入空间中的内积$({\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}\cdot {\mathbf{x}}_{\mathbf{j}})$，变换为特征空间中的内积$K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$，在新的特征空间里从训练样本中学习线性支持向量机。当映射函数是非线性函数时，学习到的含有核函数的支持向量机是非线性分类模型。

4.2 核技巧之重返社会

---

5. 问题求解

观察公式(2.5)和公式(4.1)，可知，该问题是一个二次规划问题¹，使用Sequential Minimal Optimization(SMO)算法求解。

5.1 SMO基本思路

先固定除了${\alpha }_{u_1}$之外的所有参数值，求${\alpha }_{u_1}$上的极值，由于有${\sum }_{i=1}^N{\alpha }_i{y}_i=0$的约束条件，因此，另一个参数值${\alpha }_{u_2}$也可以用${\alpha }_{u_1}$表示，因此，SMO方法一次可以优化两个参数${\alpha }_{u_1}$和${\alpha }_{u_2}$，并固定其他参数。

5.2 基本流程：

• 选取一对待更新的变量${\alpha }_{u_1}$和${\alpha }_{u_2}$。
• 固定${\alpha }_{u_1}$和${\alpha }_{u_2}$之外的所有变量，求解公式(3.7)。

书上的简单例题。

---

6. 小结

线性支持向量机的算法总结流程图如下：

---

7. 参考文献

《统计学习方法》
《西瓜书》

---

1. 注脚——凸二次规划问题：
   
   仿射函数即由 1 阶多项式构成的函数，一般形式为$f(x)={\mathbf{A}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}$，这里，$\mathbf{A}$是一个 $m\times k$ 矩阵，$\mathbf{x}$ 是一个$k$维向量，$\mathbf{b}$是一个$m$维向量，实际上反映了一种从$k$维到$m$维的空间映射关系。 ↩︎