机器学习——支持向量机

支撑向量机（SVM）算法三大宝：间隔、对偶、核技巧
支持向量机（SVM）算法在分类问题中有着重要地位，其主要思想是最大化两类之间的间隔。按照数据集的特点：

1. 线性可分问题，如之前的感知机算法处理的问题
2. 线性可分，只有一点点错误点，如感知机算法发展出来的Pocket算法处理问题
3. 非线性问题，完全不可分，如在感知机问题发展处理的多层感知机和深度学习
   这三种情况对于SVM分别有下面三种处理手段：

• hard-margin SVM
• soft-margin SVM
• kernel Method
  SVM的求解，大量用到了Lagrange乘子法，首先对这种方法进行介绍。

约束优化问题

一般地，约束优化问题（原问题）可以写成：
$$\begin{gathered} \underset{x\in {\mathbb{R}}^p}{\min }f(x) \\ s.t.m_i(x)\le 0,i=1,2,\cdots ,M \\ {n}_j(x)=0,j=1,2,\cdots ,N \end{gathered}$$
定义Lagrange函数：
$$L(x,\lambda ,\eta )=f(x)+\sum _{i=1}^M{\lambda }_i{m}_i(x)+\sum _{i=1}^N{\eta }_i{n}_i(x)$$
那么原问题可以等价于无约束形式：
$$\underset{x\in {\mathbb{R}}^p}{\min }\underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta )s.t.{\lambda }_i\ge 0$$
这是由于，当满足原问题的不等式约束的时候，${\lambda }_i=0$才能取得最大值，直接等价于原问题，如果不满足原问题的不等式约束，那么最大值就为$+\infty$，由于需要取最小值，于是不会取到这个情况。
这个问题的对偶形式：
$$\underset{\lambda ,\eta }{\max }\underset{x\in {\mathbb{R}}^p}{\min }L(x,\lambda ,\eta )s.t.{\lambda }_i\ge 0$$
对偶问题是关于$\lambda ，\eta$的最大化问题。
由于：
$$\underset{{\lambda }_i,{\eta }_j}{\max }\underset{x}{\min }L(x,{\lambda }_i,{\eta }_j)\le \underset{x}{\min }\underset{{\lambda }_i,{\eta }_j}{\max }L(x,{\lambda }_i,{\eta }_j)$$
最大值的最小值大于最小值中的最大值。
对偶问题的解小于原问题，有两种情况：

1. 强对偶：可以取等于号
2. 弱对偶：不可以取等于号

对于一个凸优化问题，有如下定理：
如果凸优化问题满足某些条件如Slater条件，那么它和其对偶问题满足强对偶关系。记问题的定义域为：$\mathcal{D}=domf(x)\cap dom{m}_i(x)\cap dom{n}_j(x)$。于是Slater条件为：
$$\exists \hat{x}\in Relint\mathcal{D}s.t.\forall i=1,2,\cdots ,M,m_i(x)<0$$
其中Relint表示相对内部（不包含边界的内部）
3. 对于大多数凸优化问题，Slater条件成立
4. 松弛Slater条件，如果M个不等式约束中，有K个函数为仿射函数，那么只要其余的函数满足Slater条件即可。
上面介绍了原问题和对偶问题的对偶关系，但是实际还需要对参数进行求解，求解方法使用KKT条件进行：

KKT条件

KKT条件和强对偶关系是等价关系。KKT条件对最优解的条件为：

• 可行域：
  $$\begin{gathered} m_i(x^{\ast })\le 0 \\ {n}_j(x^{\ast })=0 \\ {\lambda }^{\ast }\ge 0 \end{gathered}$$
• 互补松弛${\lambda }^{\ast }{m}_i(x^{\ast })=0,\forall m_i$，对偶问题的最佳值为 $d^{\ast }$，原问题为 $p^{\ast }$
  $$\begin{gathered} d^{\ast }=\underset{\lambda ,\eta }{\max }g(\lambda ,\eta )=g({\lambda }^{\ast },{\eta }^{\ast }) \\ =\underset{x}{\min }L(x,{\lambda }^{\ast },{\eta }^{\ast }) \\ \le L(x^{\ast },{\lambda }^{\ast },{\eta }^{\ast }) \\ =f(x^{\ast })+\sum _{i=1}^M{\lambda }^{\ast }{m}_i(x^{\ast }) \\ \le f(x^{\ast })=p^{\ast } \end{gathered}$$
  为了满足相等，两个不等式必须成立，于是，对于第一个不等于号，需要有梯度为0条件，对于第二个不等于号需要满足互补松弛条件。
• 梯度为0：
  $$\frac{\partial L(x,{\lambda }^{\ast },{\eta }^{\ast })}{\partial x}{|}_{x=x^{\ast }}=0$$

Hard-margin SVM

支持向量机也是一种硬分类模型，在之前的感知机模型中，我们在线性模型的基础上叠加了符号函数，在几何直观上，可以看到，如果两类分的很开的话，那么其实会存在无穷多条线可以将两类分开。在SVM中，我们引入最大化间隔这个概念，间隔指的是数据和直线的距离的最小值，因此最大化这个值反映了我们的模型倾向。
分割的超平面可以写为：
$$0=w^{T}x+b$$
那么最大化间隔（约束为分类任务的要求）：
$$\begin{gathered} {\mathrm{argmax}}_{w,b}[\underset{i}{\min }\frac{|w^T{x}_i+b|}{||w||}]s.t.y_i(w^T{x}_i+b)>0 \\ ⟹{\mathrm{argmax}}_{w,b}[\underset{i}{\min }\frac{y_i(w^T{x}_i+b)}{||w||}]s.t.y_i(w^T{x}_i+b)>0 \end{gathered}$$
对于这个约束$y_i(w^T{x}_i+b)>0$，不妨固定$min{y}_i(w^T{x}_i+b)=1>0$，这是由于分开两类的超平面的系数经过比例缩放不会改变这个平面，这也相当于给超平面的系数做出了约束，化简后的式子可以表示为：
$$\begin{gathered} {\mathrm{argmin}}_{w,b}\frac{1}{2}{w}^{T}ws.t.\underset{i}{\min }{y}_i(w^T{x}_i+b)=1 \\ \Rightarrow {\mathrm{argmin}}_{w,b}\frac{1}{2}{w}^{T}ws.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,N \end{gathered}$$
这就是一个包含N个约束的凸优化问题，有很多求解这种问题的软件。
但是，如果样本数量或维度非常高，直接求解困难甚至不可解，于是需要对这个问题进一步处理。引入Lagrange函数：
$$L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i(1-y_i(w^T{x}_i+b))$$
我们有原问题就等价于：
$$argmi{n}_{w,b}ma{x}_{\lambda }L(w,b,{\lambda }_i)s.t.{\lambda }_i>=0$$
我们交换最小和最大值的符号得到对偶问题：
$$\underset{{\lambda }_i}{\max }\underset{w,b}{\min }L(w,b,{\lambda }_i)s.t.{\lambda }_i\ge 0$$
由于不等式约束是仿射函数(Ax+b)，对偶问题和原问题等价：

• $\frac{\partial }{\partial b}L=0\Rightarrow \sum _{i=1}^N{\lambda }_i{y}_i=0$
• w:首先将b代入：
  $L(w,b,{\lambda }_i)=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i(1-y_i{w}^T{x}_i-y_{i}b)=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{w}^T{x}_i$
  所以：
  $$\frac{\partial }{\partial w}L=0\Rightarrow w=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i$$
• 将上面两个参数代入：
  $$L(w,b,{\lambda }_i)=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\lambda }_i$$
  因此，对偶问题就是：
  $$\underset{\lambda }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\lambda }_i,s.t.{\lambda }_i\ge 0$$
  从KKT条件得到超平面的参数：
  原问题和对偶问题满足强对偶关系的充要条件为其满足KKT条件：
  $$\begin{gathered} \frac{\partial L}{\partial w}=0,\frac{\partial L}{\partial b}=0 \\ {\lambda }_k(1-y_k(w^T{x}_k+b))=0(slacknesscomplementary) \\ {\lambda }_i\ge 0 \\ 1-y_i(w^T{x}_i+b)\le 0 \end{gathered}$$
  根据这个条件就得到了对应的最佳参数：
  $$\begin{gathered} \hat{w}=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i \\ \hat{b}=y_k-w^T{x}_k=y_k-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i^T{x}_k,\exists k,1-y_k(w^T{x}_k+b)=0 \end{gathered}$$
  于是这个超平面的参数w就是数据点的线性组合，最终的参数值就是部分满足$y_i(w^T{x}_i+b)=1$向量的线性组合（互补松弛条件给出），这些向量也叫支撑向量。

Soft-margin SVM

Hard-margin的SVM只对可分数据可接，如果不可分的情况，我们的基本想法是在损失函数中加入错误分类的可能性。错误分类的个数可以写成：
e r r o r = ∑ i = 1 N I { y i ( w T x i + b ) < 1 } error=\sum\limits_{i=1}^N\mathbb{I}\{y_i(w^Tx_i+b)\lt1\} error=i=1∑N​I{yi​(wTxi​+b)<1}
这个函数不连续，可以将其改写为：
e r r o r = ∑ i = 1 N max ⁡ { 0 , 1 − y i ( w T x i + b ) } error=\sum\limits_{i=1}^N\max\{0,1-y_i(w^Tx_i+b)\} error=i=1∑N​max{0,1−yi​(wTxi​+b)}
求和符号中的式子又叫做Hinge Function
将这个错误加入Hard-margin SVM中，于是：
a r g m i n w , b 1 2 w T w + C ∑ i = 1 N max ⁡ { 0 , 1 − y i ( w T x i + b ) }   s . t .   y i ( w T x i + b ) ≥ 1 − ξ i , i = 1 , 2 , ⋯   , N \mathop{argmin}_{w,b}\frac{1}{2}w^Tw+C\sum\limits_{i=1}^N\max\{0,1-y_i(w^Tx_i+b)\}\ s.t.\ y_i(w^Tx_i+b)\ge1-\xi_i,i=1,2,\cdots,N argminw,b​21​wTw+Ci=1∑N​max{0,1−yi​(wTxi​+b)} s.t. yi​(wTxi​+b)≥1−ξi​,i=1,2,⋯,N
这个式子中，常数C可以看作允许的错误水平，同时上式为了进一步消除max符号，对数据集中的每一个观测，我们可以认为其大部分满足约束，但是其中部分违反约束，因此这部分约束变成$y_i(w^{T}x+b)\ge 1-{\xi }_i$，其中
${\xi }_i=1-y_i(w^T{x}_i+b)$，进一步化简：
$${\mathrm{argmin}}_{w,b}\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_{i}s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0,i=1,2,\cdots ,N$$

Kernel Method

核方法可以应用在很多问题上，在分类问题中，对于严格不可分问题，我们引入一个特征转换函数将原来的不可分的数据集变为可分的数据集，然后再来应用已有的模型。往往将低维空间的数据集变为高维空间的数据集后，数据会变得可分（数据变得更为稀疏）：
应用在SVM中时，观察上面的SVM对偶问题：
$$\underset{\lambda }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\lambda }_i,s.t.{\lambda }_i\ge 0$$
在求解的时候需要求得内积，于是不可分数据在通过特征变换后，需要求得变换后的内积。我们常常很难求得变换函数的内积。于是直接引入内积的变换函数：
$$\forall x,x^{\prime }\in \mathcal{X},\exists \varphi \in \mathcal{H}:x\to zs.t.k(x,x^{\prime })=\varphi (x{)}^T\varphi (x)$$
称$k(x,x^{{}^{\prime }})$为一个正定核函数，其中$\mathcal{H}$是Hilbert空间（完备的线性内积空间），如果去掉内积这个条件我们简单地称为核函数。
$k(x,x^{\prime })=\exp (-\frac{(x-x^{\prime }{)}^2}{2{\sigma }^2})$ 是一个核函数。
证明：
$$\begin{gathered} \exp (-\frac{(x-x^{\prime }{)}^2}{2{\sigma }^2})=\exp (-\frac{x^2}{2{\sigma }^2})\exp (\frac{x{x}^{\prime }}{{\sigma }^2})\exp (-\frac{x^{\prime 2}}{2{\sigma }^2} \\ =\exp (-\frac{x^2}{2{\sigma }^2})\sum _{n=0}^{+\infty }\frac{x^n{x}^{\prime n}}{{\sigma }^{2n}n!}\exp (-\frac{x^{\prime 2}}{2{\sigma }^2}) \\ =\exp (-\frac{x^2}{2{\sigma }^2})\phi (x)\phi (x^{\prime })\exp (-\frac{x^{\prime 2}}{2{\sigma }^2}) \\ =\varphi (x)\varphi (x^{\prime }) \end{gathered}$$
正定核函数有下面的等价定义：
如果核函数满足：

• 对称性
• 正定性
  那么这个核函数是正定核函数。
  证明：
• 对称性 $\iff$ $k(x,z)=k(z,x)$，显然满足内积的定义
• 正定性 $\iff$ $\forall N,x_1,x_2,\cdots ,x_N\in \mathcal{X}$，对应的 Gram Matrix $K=[k(x_i,x_j)]$ 是半正定的
  要证：$k(x,z)=\varphi (x{)}^T\varphi (z)\iff K$ 半正定+对称性。