深度学习基础03---支持向量机SVM（上）

支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）

1.背景

1.1 最早是由Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出
1.2 目前的版本（soft margin)是由Corinna Cortes 和 Vapnik在1993年提出，并在1995年发表
1.3 深度学习(2012)出现之前，SVM被认为机器学习中近十几年来最成功，表现最好的算法

2.机器学习的一般框架

训练集=>提取特征向量=>结合一定的算法（分类器：比如决策树，KNN）=>得到结果

3.介绍：

3.1 例子

如图所示，我们提取了一些向量，映射为图中二维的黑白点，我们需要将以上点点分为两类，图中哪条分类线效果最好？
蓝线和红线都把黑白点区分开了，我们应该选择哪一条呢？
凭直觉来说，我们肯定是选择红线，但是为什么要选择红线呢？
这就是接下来我们要讨论的问题了。

3.2 SVM寻找区分两类的超平面（hyber plane），使边际（margin）最大

如果按第一张小图画线，margin就比较小
按第二章小图来画线，margin则比较大
为什么我们想让margin越大越好？可以理解为margin越大，两类物质的差别也就越大，也就越好区分
所以SVM分类的目标是寻找一个超平面，使margin可以最大化
那么总共可以有多少个可能的超平面？无数条
如何选取使边际最大的超平面（Max Margin Hyperplane）？
超平面到一侧最近点的距离等于到另一侧最近点的距离，两侧的超平面平行。
先来介绍两个基本概念

4.线性可区分（linear separable）和线性不可区分（linear inseparable)

我们的目标是找一个超平面，将两类点线性的区分开，那么所有的点都可以线性区分开吗，答案是否定的。
比如第一张图上面，蓝色的圈圈和红色的叉叉，我们无法找到一个超平面，将两类线性区分开，所以这两类是线性不可区分的
第二张图和第三张图也一样，都是线性不可区分的。
在这里呢，我们目前只讨论线性可区分的情况

5.定义与公式建立

超平面可以定义为：

X：训练实例
W : weight vector
b：bias ，偏向

n：特征值的个数
4.1 假设2维特征向量：X=（x1,x2)
把b想象成额外的weight，超平面方程变为：

所有超平面右上方的点满足：

所有超平面左下方的点满足：

调整weight，使超平面定义边际的两边：

综合以上两式，得到：（1）

所有坐落在边际的两边的超平面上的被称作“支持向量（support vectors）”分界的超平面H1和H2上任意一点的距离为：
1/||w||
(其中||w||是向量的范数（norm）)

所以，最大边际距离为：
2/||w||

6.求解

6.1 SVM如何找出最大边际的超平面（MMH）呢？
利用一些数学推导，以上公式（1）可变为有限制的凸优化问题（convex quadratic optimization），利用Karush-Kuhn-Tucker（KKT）条件和拉格朗日公式，可以推出MMH可以被表示为以下“决定边界”（decision boundary）

其中:
yi是支持向量点；
xi（support vector）的分类标记（class label）
xT是要测试的实例
αi和b0都是单一数值型参数，由以上提到的最优算法提出
l是支持向量点的个数

对于任何测试（要归类）的实例，代入以上公式，由得出的符号是正还是负决定

例子：

假设已知三个点的坐标，先找到两个点求出weight vector，把两点坐标分别代入g（x，y）方程，解方程组，可以求出参数，则可以求出超平面解析式