素描svm

支持向量机是一个比较复杂的机器学习模型，之所以复杂，当然就是里面的数学知识多了。刚刚接触的时候浏览众多博客，发现很多都很写得细致，但是对运算的细致全面讲解很容易让基础不怎么好的人很难坚持看下去。这一篇博客简单阐述svm的思路（也是因为偶自己又一些地方也没弄懂啦～！）用来回顾或者面试倒是挺好的。

---

svm可以解决两类分类问题：线性可分数据及非线性可分数据。
对于线性可分数据，Svm企图找到划分两类最中间的平面，使每一类中离平面最近的点的距离最大。如下图中在旁边两条线上的点，他们就是所谓的支持向量

定义平面为$y = \sum_{i=0}^m w_ix_i+b$
将数据划分为{-1，1}两类，根据几何数学知识有：最近点与平面的距离为$d=\frac{\sum_iw_ix_i+b}{\sum_i w^2} = \frac{y_i}{||w||}$
则总间距$margin=|d1|+|d2|=\frac{1}{||w||}+\frac{|-1|}{||w||}=\frac{2}{||w||}$
所以我们的目标也可以说是 $min ||w||$ (1)
同时该平面两边的数据满足：
$y = \sum_{i=0}^m w_ix_i+b \ge 1 for y = 1$
$y = \sum_{i=0}^m w_ix_i+b \le 1 for y = -1$

即：$y_i * \sum_{i=0}^m w_ix_i+b \ge 1$ (2)
由此，(1)和(2)就是我们要求解的

但是这样的方程，既有极值又有不等式的情况并不好求，接下来的转化就有点费脑筋了，有些比较细致的地方我也没有弄懂，只能写下大体的轮廓。
首先让我们去掉这些不等式！
该方程式的拉格朗日函数可以写作：
$L(\omega, b, x)=\frac{1}{2}||w|| + \sum_{i=0}^m\alpha(1-y_i(w^Tw+b))$（3）
$( \alpha \ge 0)$
注意后面部分其实也就是（2）的移项。

该转换必须满足KKT条件：
$\alpha \ge 0$
$1-y_i(w^Tw+b) \le 0$
$\alpha * (1- y_i(w^TW+b) =0$

该拉格朗日函数与（1）（2）等价（唉这里我也不明白啦），再于（3）中求$w和b$的偏导，使其值为0，代回（3）中，得到消去了$w和b$ 的式子（4）。

再对式子4求其对偶函数（5）。（运筹学里学过对偶函数，对偶函数和原函数相当于事情的两个面，最小化对偶函数的最大值不会超过原函数的最小值，他们就像一个天，一个地，极限的情况就是两个函数有一个相同的点，该点是其中一个函数的最小值，是另一个函数的最大值）。这里边的数学很复杂，作为一个没高数课的孩子真的看的很头痛，我现在需要速成，所以很多地方一笔带过，以后有时间慢慢研究。对偶函数如下：
$f(x)=\sum_{i=1}^m \alpha_i y_i x_i^Tx +b$ (6)

那么对于一个新的数据，输入其特征$x$到（6）中，输出结果>0则为类别1，否则为-1。上式$(x_i, y_i)$是支持向量而非所有数据，也就是说svm划定的平面其实是由数据中的部分点确定的，即使其他数据有所改变，只要支持向量不变，模型就不会改变，因此该模型也比较稳定。

---

对于非线性的问题，先举几个简单的例子：像下面这些数据，明显的，用直线不能进行划分，也就是说，不能找到一个平面$y=\sum_i w_ix_i$来划分他们，这时怎么办呢？

svm企图跳出平面的约束，展开丰富的想象力，畅想多维空间。

所以对于非线性分类，svm就把数据映射到高维空间，再在高维空间中找那一个平面，令$\phi(x)$表示将$x$映射到后的特征向量,此时在特征空间的划分平面模型可以表示为：
$f(x)=w^T\phi(x)+b$
$y_i(w^T\phi(x) +b)\ge 1$
其对偶函数为：$\sum_{i=0}^m \alpha_iy_i\phi(x_i)^T\phi(x)+b$

其中，我们看到$\phi(x_i)^T\phi(x)$，这两个高维数据的点积将会带来很大的计算量。于是伟大又神奇的数学家们又探索出了核函数，一个表示既将数据映射到高维空间同时做了点积运算的函数（哎，数学真是神奇，科学家们真的什么都敢想。。。。）

定义核函数$k(x_i, x_j)=<\phi(x_i), \phi(x_j)>=\phi(x_i)^T\phi(x_j)$

是不是觉得很神奇，带着点意外不解不服气？？？

那我们来看一个例子：

数据x=(1,2,3), y=(4,5,6)
假设高维映射函数为：
$f(x)=(x_1x_1, x_1x_2, x_1x_3, x_2x_1, x_2x_2, x_2x_3, x_3x_1, x_3x_2, x_3x_3)$
那么，我们一般的求解过程就是：
$f(x)=(1, 2, 3, 2, 4, 6, 3, 6, 9)$
$f(y)=(16, 20, 24, 20, 25, 36, 24, 30, 36)$
点积：
$f(x)^Tf(y)=(16, 40, 72, 40, 100, 180, 72, 180, 324)$
求和为：1024

如果又核函数：$k(x,y)=<x,y>^2$
那么其计算过程为：
$(1*4+2*5+3*6)^2=1024$
是不是，要简单很多呢？！这一个核函数就是实现了高维映射的内积运算。