机器学习——线性分类器与支持向量机

一、线性分类器
  支持向量机是一种可以生成非线性分类器的学习型算法。首先介绍线性分类器，随后再推广到非线性分类。对于线性可分的数据，其线性分类包括两种直观理解，第一种为逻辑回归，若该算法的参数合适，那么其不仅需要保证分类结果正确，且要保证分类结果的确定性；第二种为线性分类线，若分类线的参数合适，其与两类样本的几何距离都足够远。

1.1 函数间隔与几何间隔
  首先定义函数间隔与几何间隔。考虑超平面$(\mathbf{w},\mathbf{b})$和某个特定的训练样本$({\mathbf{x}}^{(i)},y^{(i)})$相关的函数间隔形如$${\hat{\gamma }}^{(i)}=y^{(i)}(\mathbf{w}{\mathbf{x}}^{(i)}+\mathbf{b})$$参数$\mathbf{w},\mathbf{b}$定义了分类超平面。其中， y i = { − 1 , 1 } y_i = \{-1, 1\} yi​={−1,1}代表正样本与负样本，使不同类的样本取得相同方向的函数间隔，若${\gamma }^{(i)}>0$，则证明分类正确。
  再定义超平面$(\mathbf{w},\mathbf{b})$与整个训练集合的函数间隔定义，形如$$\hat{\gamma }=min{\hat{\gamma }}^{(i)}$$即集合样本中函数间隔的最坏情形。然而这存在一个问题，理论上，当$\mathbf{w},\mathbf{b}$增加时，函数间隔也随之增加，且这种增加是人为决定的。而为了单纯的最大化函数间隔为目标，增加一个正则化条件，即$||\mathbf{w}||=1$。
  再定义几何间隔，分类器的确定边界会由超平面$(\mathbf{w},\mathbf{b})$给出，并正确的对样本进行了分类，则几何间隔定义为训练样本$({\mathbf{x}}^{(i)},y^{(i)})$和分类线之间的几何距离。
  考虑超平面${\mathbf{w}}^T\mathbf{x}+\mathbf{b}=0$，其单位法向量为$\mathbf{w}/||\mathbf{w}||$。样本$({\mathbf{x}}^{(i)},y^{(i)})$到超平面的几何间隔为${\gamma }^{(i)}$。则${\mathbf{x}}^{(i)}$映射到分隔超平面的点为$${\mathbf{x}}^{(i)}-{\gamma }^{(i)}\mathbf{w}/||\mathbf{w}||$$表示该点到分隔超平面的距离为${\gamma }^{(i)}$，又因为其在分隔超平面上，故应该满足$${\mathbf{w}}^T({\mathbf{x}}^{(i)}-{\gamma }^{(i)}\mathbf{w}/||\mathbf{w}||)+\mathbf{b}=0$$展开得$${\mathbf{w}}^T{\mathbf{x}}^{(i)}+\mathbf{b}={\gamma }^{(i)}{\mathbf{w}}^T\mathbf{w}/||\mathbf{w}||={\gamma }^{(i)}||\mathbf{w}||$$即$${\gamma }^{(i)}=(\mathbf{w}/||\mathbf{w}||{)}^T{\mathbf{x}}^{(i)}+\mathbf{b}/||\mathbf{w}||$$这便是样本$({\mathbf{x}}^{(i)},y^{(i)})$到超平面的几何间隔。在正确分类的情况下，更一般的，可以认为几何间隔形如$${\gamma }^{(i)}=y^{(i)}((\mathbf{w}/||\mathbf{w}||{)}^T{\mathbf{x}}^{(i)}+\mathbf{b}/||\mathbf{w}||)$$故函数间隔与几何间隔的关系为$${\gamma }^{(i)}={\hat{\gamma }}^{(i)}/||\mathbf{w}||$$同样的，超平面$(\mathbf{w},\mathbf{b})$与整个训练集合的几何间隔定义形如
$$\gamma =min{\gamma }^{(i)}$$ 
1.2 最优间隔分类器
  最大间隔分类器是一种学习算法，可以认为是支持向量机的前身，其选择$\mathbf{w}$与$\mathbf{b}$使几何间隔最大化，形如$$\begin{array}{rl}max& \gamma \\ s.t.& y^{(i)}((\mathbf{w}/||\mathbf{w}||{)}^T{\mathbf{x}}^{(i)}+\mathbf{b}/||\mathbf{w}||)\ge \gamma \end{array}$$其与逻辑回归的效果相似，但实际上，其可以通过推广使其支持无限维的特征空间，并得到非常有效的非线性分类器。
  求解上述优化问题即可得到最优间隔分类器，然而该优化问题的约束是非凸的，因为$\mathbf{w}/||\mathbf{w}||$位于一个超球面上。那么换言之，使用函数间隔来表示该问题，则有$$\begin{array}{rl}max& \hat{\gamma }/||\mathbf{w}||\\ s.t.& y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+\mathbf{b})\ge \hat{\gamma }\end{array}$$该优化目标函数是非凸的。考虑一个放缩变换，使得$\hat{\gamma }=1$，则上述优化问题形如$$\begin{array}{rl}min& ||\mathbf{w}|{|}^2/2\\ s.t.& y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+\mathbf{b})\ge 1\end{array}$$该形式是一个凸优化问题。其的几何意义为在超空间内，去除若干半空间约束下的剩余空间内，寻找最小的超球面。
  另一方面，可以从凸优化的对偶性考虑该问题。首先考虑拉格朗日乘子法，对于优化问题$$\begin{array}{rl}min& f(\mathbf{w})\\ s.t.& g_i(\mathbf{w})\le 0,i=1,...,m\\ & h_i(\mathbf{w})=0,i=1,...,p\end{array}$$其拉格朗日乘子法形如$$L(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })=f(\mathbf{w})+\sum _{i=1}^m{\alpha }_i{g}_i(\mathbf{x})+\sum _{i=1}^p{\beta }_i{h}_i(\mathbf{x})$$并定义$${\theta }_p(\mathbf{w})=ma{x}_{\mathbf{\alpha },\mathbf{\beta },{\alpha }_i>0}L(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })$$考虑${\theta }_p(\mathbf{w})$的意义，考虑$g_i(\mathbf{w})\ge 0$，则$maxL$由于${\alpha }_i$可以取得任意大的值。同理，$h_i(\mathbf{w})\ne 0$，则$maxL$同上。而在满足约束的情况下，最大化$L$的手段就是令所有拉格朗日乘子为0，即$${\theta }_p(\mathbf{w})=f(\mathbf{w})$$那么优化问题的最优值$$p^{\ast }=mi{n}_{\mathbf{w}}ma{x}_{\mathbf{\alpha },\mathbf{\beta },{\alpha }_i>0}L(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })$$那么考虑优化问题的对偶问题为$$\begin{gathered} {\theta }_D(\mathbf{\alpha },\mathbf{\beta })=mi{n}_{\mathbf{w}}L(\mathbf{w},\mathbf{\alpha },\mathbf{\beta }) \\ {d}^{\ast }=ma{x}_{\mathbf{\alpha },\mathbf{\beta },{\alpha }_i>0}{\theta }_D(\mathbf{\alpha },\mathbf{\beta }) \end{gathered}$$使得原问题与对偶问题有相同解的条件为$f$为凸函数，$h_i$是仿射函数，$g_i$有解，即$\exists \mathbf{w},\forall i,g_i(\mathbf{w})<0$。在上述条件下，若$\exists {\mathbf{w}}^{\ast },{\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast }$，使得$$\partial L/\partial \mathbf{w}=0$$则$$p^{\ast }=d^{\ast }=L({\mathbf{w}}^{\ast },{\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast })$$上述条件称为KKT互补条件。KKT互补条件还蕴含其他的条件，此处不进行详细阐述。
  回到最优间隔分类器问题，对偶性约束为$$g_i(\mathbf{w},\mathbf{b})=-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+\mathbf{b})+1\le 0$$对于某些样本，其满足该不等式约束的等式条件，即$$y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+\mathbf{b})=1$$也就是说其与分隔线的函数距离为1，这样的样本称为支持向量【Support Vectors】。
  KKT中有一条性${\alpha }_i{g}_i(x)=0$，对于一批样本，支持向量是少量的，即多数的${\alpha }_i=0$。换言之，${\alpha }_i=0$对应的不是支持向量。
  最优间隔分类器的拉格朗日方程为$$L(\mathbf{w},\mathbf{b},\mathbf{\alpha })=||\mathbf{w}|{|}^2/2+\sum _{i=1}^m{\alpha }_i(-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+\mathbf{b})+1)$$其对偶问题为$${\theta }_D(\mathbf{\alpha })=mi{n}_{\mathbf{w},\mathbf{b}}L(\mathbf{w},\mathbf{b},\mathbf{\alpha })$$为了求得最小值，求导得$$\begin{gathered} {▽}_{\mathbf{w}}L(\mathbf{w},\mathbf{b},\mathbf{\alpha })=\mathbf{w}-\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)} \\ {▽}_{\mathbf{b}}L(\mathbf{w},\mathbf{b},\mathbf{\alpha })=\sum _{i=1}^m{\alpha }_i{y}^{(i)} \end{gathered}$$置0，得$$\begin{gathered} \mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)} \\ \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0 \end{gathered}$$将$\mathbf{w}$带入拉格朗日方程，得$$\begin{array}{rl}L& =||\mathbf{w}|{|}^2/2+\sum _{i=1}^m{\alpha }_i(-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+\mathbf{b})+1)\\ & =(\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}{)}^T(\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)})/2-\sum _{i=1}^m{\alpha }_i(y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+\mathbf{b})-1)\\ & =\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}⟨{\mathbf{x}}^{(i)},{\mathbf{x}}^{(j)}⟩/2-\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}⟨{\mathbf{x}}^{(i)},{\mathbf{x}}^{(j)}⟩+\sum _{j=1}^m{\alpha }_i\\ & =\sum _{j=1}^m{\alpha }_i-\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}⟨{\mathbf{x}}^{(i)},{\mathbf{x}}^{(j)}⟩/2\end{array}$$定义结果为$W(\mathbf{\alpha })$。现在取得了$$W(\mathbf{\alpha })=mi{n}_{\mathbf{w},\mathbf{b}}L(\mathbf{w},\mathbf{b},\mathbf{\alpha })$$则优化问题的对偶问题为$$\begin{array}{rl}max& W(\mathbf{\alpha })\\ s.t.& {\alpha }_i\ge 0\\ & \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\end{array}$$通过求解上述优化问题，可以得到最优参数${\mathbf{\alpha }}^{\ast }$，那么$${\mathbf{w}}^{\ast }=\sum _{i=1}^m{\alpha }_i^{\ast }{y}^{(i)}{\mathbf{x}}^{(i)}$$由此便确定了最优间隔面的方向，而$\mathbf{b}$决定了间隔面的偏置，则其求解为$$\mathbf{b}=(ma{x}_{i|y^{(i)}=-1}{\mathbf{w}}^T{\mathbf{x}}^{(i)}+mi{n}_{i|y^{(i)}=1}{\mathbf{w}}^T{\mathbf{x}}^{(i)})/2$$上述式的意义为通过最接近的两类样本寻找平均间隔面，自此便完成了最优间隔分类器。

---

二、支持向量机
2.1 核函数
  在上述问题中，可以看出所有的参数都可以写成输入变量的内积形式，实际上，算法对数据的依赖仅仅局限于内积，甚至在算法流程中都无需显示的直接使用向量的值。
  核函数是一种在低维情况下表征高维特征相似度的函数。对于样本$x\in R$，在某些问题中，通常会将其映射为一些高维特征$\mathbf{x}=\varphi (x)$，如多项式分解。若想使用$\varphi (x)$，只需令原算法中的$⟨x^{(i)},x^{(j)}⟩$替换为$⟨\varphi (x^{(i)}),\varphi (x^{(j)})⟩$，即使用$\varphi (\mathbf{x})$执行算法，而不是原始的一维输入特征。有些情况下，$\varphi (x)$的维度将会非常高，此时计算内积是十分低效的。因此，定义核函数$$K(x^{(i)},x^{(j)})=⟨\varphi (x^{(i)}),\varphi (x^{(j)})⟩$$来解决上述问题。
  考虑输入$\mathbf{x},\mathbf{z}\in {\mathbf{R}}^n$，那么$$\begin{array}{rl}K(\mathbf{x},\mathbf{z})& =({\mathbf{x}}^T\mathbf{z}{)}^2\\ & =(\sum _{i=1}^n{x}_i{z}_i)(\sum _{j=1}^n{x}_j{z}_j)\\ & =\sum _{i=1}^n\sum _{j=1}^n(x_i{x}_j)(z_i{z}_j)\end{array}$$定义$\varphi (\mathbf{x})=(x_1{x}_1,x_1{x}_2,...{)}^T$，则$$\begin{array}{rl}K(\mathbf{x},\mathbf{z})& =\sum _{i=1}^n\sum _{j=1}^n(x_i{x}_j)(z_i{z}_j)\\ & =(\varphi (\mathbf{x}){)}^T(\varphi (\mathbf{z}))\end{array}$$此时，计算$\varphi (\mathbf{x})$的时间复杂度$T(n)=O(n^2)$，但是计算$K$的值只需要$T(n)=O(n)$。
  考虑给定特征$\mathbf{x}$，与其转化的特征向量$\varphi (\mathbf{x})$，那么核函数用于计算特征向量之间的内积。直观的来讲，两个特征向量越相似，其核函数越大。当对数据进行分类时，一个生成核的方法是当两个样本被认为相似时，令核函数较大，反之较小。
  核函数需要一定的合法性，即核函数可以写成内积的形式，形如$$K(x^{(i)},x^{(j)})=⟨\varphi (x^{(i)}),\varphi (x^{(j)})⟩$$假设$K$是一个核函数，给定点集 { x ( n ) } \{\bm{x}^{(n)}\} {x(n)}，定义核矩阵$\mathbf{K}\in {\mathbf{R}}^{m\times m}$，并取$${\mathbf{K}}_{ij}=K({\mathbf{x}}^{(i)},{\mathbf{x}}^{(j)})$$那么对于任意向量$\mathbf{z}\in {\mathbf{R}}^m$，考虑$$\begin{array}{rl}{\mathbf{z}}^T\mathbf{K}\mathbf{z}& =\sum _{i=1}^m\sum _{j=1}^m{z}_i{k}_{ij}{z}_j\\ & =\sum _{i=1}^m\sum _{j=1}^m{z}_i\varphi ({\mathbf{x}}^{(i)}{)}^T\varphi ({\mathbf{x}}^{(j)})z_j\\ & =\sum _{i=1}^m\sum _{j=1}^m\sum _{k=1}^m{z}_i(\varphi ({\mathbf{x}}^{(i)}{)}_k\varphi ({\mathbf{x}}^{(j)}{)}_k)z_j\\ & =\sum _{k=1}^m(\sum _{i=1}^m{z}_i\varphi ({\mathbf{x}}^{(j)}{)}_k{)}^2\\ & \ge 0\end{array}$$即核矩阵$\mathbf{K}$是半正定矩阵，实际上，该命题的逆命题也成立，这就给出了测试$K$是否合法的一种方法，给定核函数$K(\mathbf{x},\mathbf{z})$，那么若对于任一点集$\exists \varphi ,K(\mathbf{x},\mathbf{z})=\varphi (\mathbf{x}{)}^T\varphi (\mathbf{z})$，核矩阵$\mathbf{K}$是对称的半正定矩阵，则该核函数合法。
  考虑高斯核 K ( x , z ) = e x p { − ∣ ∣ x − z ∣ ∣ 2 / 2 σ 2 } K(\bm{x}, \bm{z}) = exp\{-||\bm{x} - \bm{z}||^2/2\sigma^2\} K(x,z)=exp{−∣∣x−z∣∣2/2σ2}，并将最优间隔分类器对偶形式中的$⟨{\mathbf{x}}^{(i)},{\mathbf{x}}^{(j)}⟩$替换为$K({\mathbf{x}}^{(i)},{\mathbf{x}}^{(j)})$，从而将$\mathbf{x}$隐式的替换成为度更高的特征向量，自此，核会将低维样本空间映射到高维的特征空间，这使得某些线性不可分的样本在高维空间中变得线性可分，这便是SVM输出非线性决策边界的过程。

2.2 L1正则化SVM
  对于某些异常样本或非线性可分的样本，根据最大间隔分类器的原则可能使得决策边界并非有着良好的实际效果，使用L1正则化可以改善上述的两种形况。
  SVM的原始问题形如$$\begin{array}{rl}min& ||\mathbf{w}|{|}^2/2\\ s.t.& y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+\mathbf{b})\ge 1\end{array}$$而L1正则化的形式为$$\begin{array}{rl}min& ||\mathbf{w}|{|}^2/2+c\sum {\xi }_i\\ s.t.& y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+\mathbf{b})\ge 1-{\xi }_i\\ & {\xi }_i\ge 0\end{array}$$其中${\xi }_i$为惩罚项，其要求所有的样本都被分割且函数间隔不小于$1-{\xi }_i$，这使得允许一些样本进行错误分类。同SVM的推导，其对偶问题为$$\begin{array}{rl}max& W(\mathbf{\alpha })\\ s.t.& 0\le {\alpha }_i\le c\\ & \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\end{array}$$ 
2.3 坐标上升法与序列最小优化算法
  考虑这样的优化问题，形如$$\begin{array}{rl}max& W(\mathbf{\alpha })\end{array}$$其是一个无约束问题。使用坐标上生算法解决该问题，坐标上升算法是一种迭代算法，其对$\mathbf{\alpha }$的每一分量分别取最大值，并保持其他分量固定，形如$${\alpha }_i=argma{x}_{{\alpha }_i}W$$再考虑有约束的优化问题，即SVM的优化问题$$\begin{array}{rl}max& W(\mathbf{\alpha })\\ s.t.& {\alpha }_i\ge 0\\ & \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\end{array}$$为了解决该问题，使用基于坐标上升算法的改良算法序列最小优化算法【Sequential Minimal Optimization，SMO】，其为了保证满足约束，选择一次改变两个${\alpha }_i$，形如$${\alpha }_i,{\alpha }_j=argma{x}_{{\alpha }_i,{\alpha }_j}W$$如何在满足约束的条件下取得两个变量的最优值是关键步骤。考虑L1正则化的优化问题$$\begin{array}{rl}max& W(\mathbf{\alpha })\\ s.t.& 0\le {\alpha }_i\le c\\ & \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\end{array}$$考虑优化变量为${\alpha }_1,{\alpha }_2$，则有$${\alpha }_1{y}^{(1)}+{\alpha }_2{y}^{(2)}=-\sum _{i=3}^m{\alpha }_i{y}^{(i)}$$即$${\alpha }_1=(-\sum _{i=3}^m{\alpha }_i{y}^{(i)}-{\alpha }_2{y}^{(2)})/y^{(1)}$$故$$W(\mathbf{\alpha })=W({\alpha }_2)$$其可以看作是一个标准的二次函数。再考虑$$0\le {\alpha }_i\le c$$那么对于二次函数的最优解，需要将其约束在$[0,c]$内，并在确定${\alpha }_2$的最优值后直接得出${\alpha }_1$。