机器学习---支持向量机

补充知识

原始问题：

约束最优化：
$$\begin{gathered} \underset{x}{\min }f(x) \\ s.t.g_i(x)⩽0,i=1,2,... \\ {h}_i(x)=0,i=1,2,... \end{gathered}$$

称此约束为称为原始最优化问题或原始问题。
其中，当目标函数$f(x)$和约束函数$g_i(x)$都是$R^n$上连续可微的凸函数，约束函数是$R^n$的仿射函数，满足$h(x)=a\cdot x+b,a\in R^n,b\in R^n,x\in R^n$，此约束优化的局部最小值就是全局最小值，这样的优化被称为凸优化。约束条件中的区域称为可行域。

拉格朗日对偶性

一个优化问题可以从两个角度来考虑，一个是主问题，一个是对偶问题。

主问题

原始问题的拉格朗日函数为：
$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{g}_i(x)+\sum _{j=1}^m{\mu }_j{g}_j(x)$$

$\lambda ,\mu$被称为拉格朗日乘子，也称为罚因子，相当于在惩罚不满优化条件的$g(w)>0,h(w)̸=0$
若$\tilde{x}\in D$是可行域中的点，则对于任意$u⩾0$和$\lambda$都有：
$$\sum _{i=1}^m{\lambda }_i{g}_i(x)+\sum _{j=1}^m{\mu }_j{g}_j(x)⩽0$$

故
$$L(\tilde{x},\lambda ,\mu )⩽f(\tilde{x})$$

故原问题的最优解$p^{\ast }$：$$p^{\ast }=\underset{x}{\min }\underset{\lambda ,\mu }{\max }L(x,\lambda ,\mu )$$

因此，原始问题就表示成了广义拉格朗日函数的极小极大问题。

对偶问题

对偶函数：
$$\Gamma (\lambda ,\mu )=\underset{x\in D}{\inf }L(x,\lambda ,\mu )$$

$inf$表示下确界，就相当于$min$，但因为有的时候极小值不存在，比如$x>0$，$inf$相对于更准确
$$\Gamma (\lambda ,\mu )=\underset{x\in D}{\inf }L(x,\lambda ,\mu )⩽L(\tilde{x},\lambda ,\mu )⩽f(\tilde{x})$$

对偶函数给出了主问题最优解的下界，显然，这个下界取决于$\lambda ,\mu$的值
因此原始问题的对偶问题为：
$$\underset{\lambda ,\mu }{\max }\underset{x\in D}{\inf }L(x,\lambda ,\mu )$$

其解为$d^{\ast }$，显然$d^{\ast }\le p^{\ast }$，这时弱对偶性成立，若$d^{\ast }=p^{\ast }$，强对偶性成立。

• 强对偶性成立的条件是原问题是凸优化问题；
• 无论主问题的凸性如何，对偶问题始终是凸优化问题
• 转换拉格朗日函数需要满足“KKT”条件

间隔与支持向量

给定训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } , y i ∈ { − 1 , + 1 } o r    y i ∈ { 0 , + 1 } D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\},y_i\in \{-1,+1\} or \;y_i\in \{0,+1\} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)},yi​∈{−1,+1}oryi​∈{0,+1},每个$x_i=(x_{i1},x_{i2},...,x_{in})$有$n$个特征，分类学习最基本的想法就是基于训练集在样本空间找到一个划分超平面，也就是需要一条决策边界，满足条件的划分超平面可能有很多，但我们要去寻找鲁棒性最强的决策边界。如下图线性分类中的粗黑线表示的决策边界，它对将要预测的数据的泛化能力最强。

线性分类的划分超平面可以通过如下方程来描述：
$$w^T+b=0$$

样本空间中任意点$x$到划分超平面(w,b)的距离为：
$$r=\frac{|w^{T}x+b|}{||w||}$$

在线性回归和逻辑回归（分类）中，$w^{T}x+b>0,if{y}_i=1;w^{T}x+b<0,if{y}_i=0$，SVM给出了更强的约束：
$$f(x)=\{\begin{array}{ll}{w}_i^{T}x+b\ge 1& y_i=1\\ w_i^{T}x+b\le -1& y_i=-1\end{array}$$

当然 y i = { 0 , 1 } o r { 1 , − 1 } y_i=\{0,1\} or \{1,-1\} yi​={0,1}or{1,−1}的选择不重要，它只会影响最终$w,b$，不影响预测。
如下图所示，黑线就是得到的超平面，距离超平面最近的这几个训练样本点成就了超平面，所以它们被称为支持向量(support vector)。虚线外代表了可预测的地方，虚线围成的距离被称为间隔，等于$r=\frac{2}{w}$

欲找到具有最大间隔的划分超平面，也就是要找到能满足约束的参数$w$和$b$,使得间隔$\gamma$最大，即：
$$\begin{gathered} \underset{w,b}{\max }=\frac{2}{||w||} \\ s.t.y_i(w^{T}x+b)\ge 1,i=1,2,... \end{gathered}$$

转化为最小化问题:
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^{T}x+b)\ge 1,i=1,2,... \end{gathered}$$

上式就是支持向量机(SVM)的基本形式，这是一个凸二次规划问题，也就是凸优化问题。

SVM的对偶问题

拉格朗日函数可写为：
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _1^m{\alpha }_i(1-y_i(w_i^{T}x+b))$$

$\alpha =({\alpha }_1;{\alpha }_2;...;{\alpha }_m),{\alpha }_i\ge 0(KKT条件)$

原问题的对偶问题为：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

为了得到对偶问题的解，需要先求$L(w,b,\alpha )$对$w,b$的极小，再求对$\alpha$的极大

1. 求$\underset{w,b}{\min }L(w,b,\alpha )$
   对$L(w,b,\alpha )$分别对$w,b$求偏导数并零其等于0
   $$\begin{gathered} w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i, \\ \sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$

代入对偶函数$L(w,b,\alpha )$，消去$w,b$：
$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^m{\alpha }_i$$

2. 求$\underset{w,b}{\min }L(w,b,\alpha )$对$\alpha$的极大，即是对偶问题
   $$\begin{gathered} \underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha ) \\ =\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,... \end{gathered}$$

极大转化为极小，由于SVM满足强对偶性，对偶最优化问题与原问题等价：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,... \end{gathered}$$

解出$\alpha$后，求出$w,b$后即可得到模型$$f(x)=w^{T}x+b=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^{T}x+b$$

上面的对偶最优化问题实际上是一个二次规划问题，通常的解法有常用的有椭球法、内点法、增广拉格朗日法、梯度投影法，但该问题的规模正比于训练样本数，这会在实际任务中造成很大的开销，为了高效地求解，通常会选择一些利用了问题本身的特性的高效的算法，如序列最小最优化问题SMO。

序列最小最优化问题SMO

非线性分类

前面的划分超平面$f(x)=w^{T}x+b$可用于线性分类，但如果涉及到非线性分类，原始空间的线性超平面则不再适用，但将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间线性可分，如下图，二维的线性不可分在三维存在一个线性划分超平面。

因此，这样的非线性分类是通过一个变换将原空间的数据变换到映射到一个新的特征空间，然后在新空间用线性分类的学习方法用线性分类的方法从训练数据学习分类模型。核技巧就是这样的方法。

核技巧

令$\varphi (x)$表示将$x$映射后的特征向量，于是，在特征空间中划分超平面所对应的模型$f(x)=w^T\varphi (x)+b$
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T\varphi (x)+b)\ge 1,i=1,2,... \end{gathered}$$

其对偶问题是：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)-\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,... \end{gathered}$$

由于涉及到计算$\varphi (x_i{)}^T\varphi (x_j)$，这是样本非线性映射到特征空间之后的内积。由于特征空间维数可能很高，甚至可能是无穷维，因为直接计算$\varphi (x_i{)}^T\varphi (x_j)$是困难的，为了避开这个障碍，我们设想一个这样的函数：
$$K(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$$

即原始样本空间存在一个函数等于$x_i$,$x_j$在特征空间的内积，这样的函数就是核函数，有了核函数，就不需要计算高维特征空间中的内积。
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,... \end{gathered}$$

因此，这种学习是隐式地在特征空间进行的 ，不需要显式地定义特征空间核映射函数，这种巧妙的利用线性分类学习和核函数解决非线性问题的技术被称为核技巧。

核函数及其充要条件

定义：

总结核函数，其定义就为：
设$\chi$是输入空间，又设$H$为特征空间，如果存在一个从$\chi$到$H$的映射：
$$\varphi (x):\chi \to H$$

使得对所有的$x_i,x_j\in \chi$，函数$k(x_i,x_j)$满足条件$$k(x_i,x_j)=\varphi (x_i)\cdot \varphi (x_j)$$

则称$k(x_i,x_j)$为核函数，$\varphi (x)$为映射函数。

充要条件

已知映射函数$\varphi$，可以通过内积计算出核函数K，能不能不用构造$\varphi$就能判断一个给定的$K(x_i,x_j)$是不是核函数呢？
$$K=\left[\begin{array}{cccc}K(x_1,x_1)& K(x_1,x_2)& ...& K(x_1,x_m\\ ...& & & \\ K(x_m,x_1)& K(x_m,x_2)& ...& K(x_m,x_m)]\end{array}\right]$$
只要$K(x_i,x_j)$是对称的，且组成的核矩阵是半正定的，它就能作为核函数使用。

常用的核函数有:

参考：

1. 周志华—西瓜书
2. 吴恩达—机器学习视频
3. 李航—统计学习方法
4. http://www.blogjava.net/zhenandaci/archive/2009/03/06/258288.html
5. http://www.ishenping.com/ArtInfo/937196.html
6. https://www.jianshu.com/p/a3d9f75546b3
7. 完美复制吴恩达视频：
   • https://cloud.tencent.com/developer/article/1403874
   • https://yoyoyohamapi.gitbooks.io/mit-ml/content/SVM/articles/SVM%E7%9A%84%E4%BD%BF%E7%94%A8%E5%BB%BA%E8%AE%AE.html
8. https://www.cnblogs.com/makefile/p/svm-basic.html