机器学习(4)-支持向量机的理解与代码实现（上）

之前看吴恩达的机器学习视频，以为自己已经理解了SVM，今天看《统计学习方法》重新学习SVM，才发现之前自己的理解都只浮于表面，实际上要复杂的多。接下来我将从五个方面讲述一下我对SVM的认识，文章将分为上下两篇，这一篇讲解硬间隔支持向量机、软间隔支持向量机和非线性支持向量机，下一篇机器学习(4)-支持向量机的理解与代码实现（下）介绍了SMO算法和代码实现。

硬间隔支持向量机

依然从三个方面理解支持向量机（1）模型（2）策略（3）算法
模型：在刚接触SVM的过程中，是不是觉得这个模型似曾相识，对就是感知机，如果对感知机还不太清楚的话可以看我之前的博文机器学习(3)-感知机的理解与代码实现，在感知机这个模型中我们需要求解一个超平面对输入数据进行划分，使得正样本的输出大于零，负样本的输出小于零，满足上述条件的超平面实际上有无穷多个。支持向量机就是在感知机的基础上，加了约束条件，希望所有点到这个超平面的距离都尽可能大，即以更高的置信度对样本点进行划分。同样对于给定的输入样本$x$，输出可以表示为：
$$f(x)=sign(w\cdot x+b)$$
策略：我们先定义一些基本概念，我们定义$\widehat{{\gamma }_i}=y_i(w\cdot x_i+b)$为超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔，定义$\hat{\gamma }=\underset{i=1,...,N}{\min }\widehat{{\gamma }_i}$为超平面关于训练集中样本点函数间隔的最小值，定义${\gamma }_i=\frac{y_i(w\cdot x_i+b)}{\Vert w\Vert }$为样本点$(x_i,y_i)$到超平面的几何间隔，定义$\gamma =\underset{i=1,...,N}{\min }{\gamma }_i$为数据集中所有样本点到超平面的几何间隔(距离)的最小值，在模型中我们已经讲过希望所有点到超平面距离尽可能大，因此可以得到优化目标，即我们的学习策略：
$$\begin{gathered} \underset{w,b}{\max }\gamma \\ s.t.\frac{y_i(w\cdot x_i+b)}{\Vert w\Vert }\ge \gamma ,i=1,2,...,N \end{gathered}$$
我们再对优化目标做一些化简，从定义我们知道$\gamma =\frac{\hat{\gamma }}{\Vert w\Vert }$,将这个关系代入上面的式子替换掉$\gamma$,并且取$\hat{\gamma }=1$,得到：
$$\begin{gathered} \underset{w,b}{\max }\frac{1}{\Vert w\Vert } \\ s.t.y_i(w\cdot x_i+b)\ge 1,i=1,2,...,N \end{gathered}$$
为什么可以取$\hat{\gamma }=1$呢？因为$\hat{\gamma }$的取值并不影响最优化问题的解，比如说我们将$w$和$b$等比例的增大$\lambda$倍，这时函数间隔也会等比例的增加$\lambda$倍，$\hat{\gamma }$也会变为$\lambda \hat{\gamma }$,改变$\hat{\gamma }$不会影响目标函数的优化，最优超平面也还是原来那个超平面，因此为了计算方便取$\hat{\gamma }=1$，上述问题问题等价于下面的约束最优化问题：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2 \\ s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,...,N \end{gathered}$$
上面的变化也是为了计算方便
算法：得到待优化的目标函数，接下来就是考虑用什么算法得到参数的最优解。上面的优化问题时一个凸二次规划问题，我们通过求解对偶问题得到原问题的最优解。首先构建拉格朗日函数，引入拉格朗日乘子${\alpha }_i\ge 0,(i=1,2,...,N)$，得到拉格朗日函数：
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^N{\alpha }_i(1-y_i(w\cdot x_i+b))$$
原问题的对偶问题为$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$,先求$L(w,b,\alpha )$关于$w,b$的极小值，对$w,b$分别求导可到：
$$\begin{gathered} \frac{\partial L(w,b,\alpha )}{\partial w}=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ \frac{\partial L(w,b,\alpha )}{\partial b}=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
将上面的两个式子代入拉格朗日函数，化简可得到：
$$L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
同时满足下面的约束条件
$$\begin{gathered} \sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,...,N \end{gathered}$$
原问题就转化为求在满足约束条件时，求上面的朗格朗日函数的最大值，令${\alpha }^{\ast },w^{\ast },b^{\ast }$为对偶问题$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$的解，当KTT条件成立时，${\alpha }^{\ast },w^{\ast },b^{\ast }$也是原问题的解。根据KKT条件我们可以得到：
$$\begin{gathered} b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j) \\ w=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \end{gathered}$$
$j$是从训练样本中任取一个满足${\alpha }_j^{\ast }>0$的样本的下标,可以看出$w,b$的求解只和${\alpha }_i^{\ast }>0$的样本相关，这些样本决定了超平面，所以称作支持向量。

软间隔支持向量机

在实际运用中，很多情况数据都是无法完全线性可分的，如果只是存在少量噪声点或异常值，这时我们可以在约束条件中引入松弛变量${\xi }_i\ge 0$,适当减小函数间隔的阈值，使原来没办法满足满足函数间隔大于等于一的异常点此时也可以满足约束条件：
$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,...,N$$
但是为了在最大程度上保证超平面对数据的区分能力，不能让函数间隔无限制的小，即不能让${\xi }_i$特别大，因此我们对那些不满足约束条件的点添加一些惩罚，具体可以体现在优化函数上：
$$\underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i$$
$C$为惩罚系数，在新的约束条件下，同样通过求解对偶问题的最优化来求解原问题，首先定义新的拉格朗日函数：
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i(1-y_i(w\cdot x_i+b)-{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$
对拉格朗日函数求关于$w,b,\xi$的极小，令偏导等于零，在将得到的关系式代入拉格朗日函数化简后可得到：
$$L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
则原问题转化为对偶问题：
$$\begin{gathered} \underset{\alpha }{\max }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...,N \end{gathered}$$
同样在满足KKT条件时，我们可以通过对偶问题求得原问题的解：
b ∗ = y j − ∑ i = 1 N α i ∗ y i ( x i ⋅ x j ) j ∈ { i ∣ 0 < α i ∗ < C , i = 1 , 2 , . . . , N } w = ∑ i = 1 N α i ∗ y i x i b^*=y_j-\sum_{i=1}^{N}\alpha_i^*y_i(x_i\cdot x_j) \quad j\in\{ i|0<\alpha_i^*<C , i=1,2,...,N\}\\w=\sum_{i=1}^{N}\alpha_i^*y_ix_i b∗=yj​−i=1∑N​αi∗​yi​(xi​⋅xj​)j∈{i∣0<αi∗​<C,i=1,2,...,N}w=i=1∑N​αi∗​yi​xi​

非线性支持向量机

到目前位置，前面介绍的支持向量机都只能运用于线性可分问题，如果原来的问题在输入空间没有办法线性可分，是不是我们就不能用SVM来解决这个问题呢？当然不是，我们先把最优解代入我们的假设模型得到决策函数：
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x)+y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j))$$
从上面我们可以看出输出只和$x$和$x_i$的内积相关，这是在线性可分的情况下，对于线性不可分的情况，我们定义核函数：
$$K(x,z)=\varphi (x)\cdot \varphi (z)$$
为函数$\varphi (x)$和$\varphi (z)$的点积，函数$\varphi (\cdot )$为映射函数，将训练数据从输入空间映射到特征空间，我们不需要显示地定义映射函数，只需要找到一个核函数直接定义在特征空间的点积就可以了，则非线性支持向量机的决策函数表示为：
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x_j))$$
核函数计算的其实是原来在特征空间的两个向量，先向高维做映射之后再做点积的结果，核函数的好处是我们不用显式的求得低维向高维做映射的函数的具体形式，因为我们最终需要的只是在高维对应的特征之间的点积，而之所以要做映射是因为这样可以将原本的线性不可分问题转化为线性可分问题。