西瓜书《学习笔记》-第六章支持向量机

  支持向量机（Support Vector Machine简称SVM）感觉是一个很难理解的方面，他的过程重点是在数学建模的过程。我在这次笔记中对概念性的知识大概描述，对数学推导的过程着重学习。

SVM简介

  支持向量机SVM是Cortes和Vapnik与1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，比那个能够推广到函数拟合等其他机器学习问题中。
支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。 [1]
  总结：支持向量机其实就是寻找一个平面划分（在二位平面就是找界限；在三位空间就是找面），可以以这个为界限把训练的样本划分开来。

1.间隔与支持向量

在样本空间中，我们用线性方程来描述超平面划分：
$$w^{T}x+b=0$$
  那么我们如何来寻找最适合的超平面划分呢？他首先要符合的条件是这条线要在两类训练样本的“正中间”。在中学我们学习过线性方程的位置是由$w,b$决定的，那么要找到最合适的一组$w,b$（且平行），使他们的距离最大（容错率最大），中间的平面就是我们所要的超平面划分。（说的也许有些啰嗦。。。可以看着下面的图进行理解）
  我们先将$w^{T}x+b\ge 1$的部分记为正例（+1）；$w^{T}x+b\le 1$的称为负例（-1）。为了方便表示，我们引入了$y_i$来表示+1、-1。
$$y_i(w^T{x}_i+b)-1\ge 0\cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot ①$$
注：当为正例时，$y_i=+1$；当为负例时，$y_i=-1$

  我们开始计算正负例子到超平面的距离：
$$width=(x_{+}-x_{-})\frac{w}{||w||}$$
$\to width=\frac{w{x}_{+}-w{x}_{-}}{||w||}$
$\because 当w{x}_{+}时y_i=+1由①得w^T{x}_{+}+b\ge 1即w^T{x}_{+}\ge 1-b$

$\because 当w{x}_{-}时y_i=-1由①得w^T{x}_{-}+b\le -1即-(w^T{x}_{-})\ge 1+b$
$\therefore width=\frac{w{x}_{+}-w{x}_{-}}{||w||}\ge \frac{1-b+(1+b)}{||w||}=\frac{2}{||w||}$
  我们称上式中的width为间隔，设为$r$
$$即r=\frac{2}{||w||}$$

$$r=\frac{2}{||w||}$$

  我们要寻找最大的间隔（margin），就是寻找$w,b$使得$r$最大。欲使$r$最大，就要让$w$最小或$r=\frac{||w|{|}^2}{2}$最大。（为什么是$||w|{|}^2呢？是因为方便进行求导$）

对偶问题

  对偶问题就是用来解决大间隔划分超平面所对应的模型。在刚才的式子中添加拉格朗日乘子$a_i\ge 0$，则该问题的拉格朗日函数可写为：
$$L(w,b,a)=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{a}_i(1-y_i(w^T{x}_i+b))$$
首先对拉格朗日函数$L(w,b,a)$求偏导数：
$$\frac{\alpha L}{\alpha w}=||w||+\sum _{i=1}^m{a}_i{y}_i{x}_i$$
令$\frac{\alpha L}{\alpha w}=0$则$||w||={\sum }_{i=1}^m{a}_i{y}_i{x}_i$

$$\frac{\alpha L}{\alpha b}=\sum _{i=1}^m{a}_i{y}_i$$
令$\frac{\alpha L}{\alpha b}=0$则${\sum }_{i=1}^m{a}_i{y}_i=0$
将上面的两个式子带回拉格朗日函数：
$L(w,b,a)=\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^m[a_i-a_i{y}_i(w^T{x}_i+b)]$
$=\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^m{a}_i-{\sum }_{i=1}^m{a}_i{y}_i{w}^T{x}_i-{\sum }_{i=1}^m{a}_i{y}_{i}b$
$=\frac{1}{2}{w}^T{\sum }_{i=1}^m{a}_i{y}_i{x}_i+{\sum }_{i=1}^m{a}_i-{\sum }_{i=1}^m{a}_i{y}_i{w}^T{x}_i-{\sum }_{i=1}^m{a}_i{y}_{i}b$
$=-\frac{1}{2}{w}^T{\sum }_{i=1}^m{a}_i{y}_i{x}_i-b{\sum }_{i=1}^m{a}_i{y}_i+{\sum }_{i=1}^m{a}_i$
$={\sum }_{i=1}^m{a}_i-\frac{1}{2}{w}^T{\sum }_{i=1}^m{a}_i{y}_i{x}_i$
$={\sum }_{i=1}^m{a}_i-\frac{1}{2}{\sum }_{i,j=1}^m{a}_i{a}_j{y}_i{y}_j{x}_i^T{x}_j$
  这样就推出了对偶问题的相关性问题：
$$ma{x}_{\alpha }\sum _{i=1}^m{a}_i-\frac{1}{2}\sum _{i,j=1}^m{a}_i{a}_j{y}_i{y}_j{x}_i^T{x}_j$$

参考博文

1. SVM简介（http://www.blogjava.net/zhenandaci/archive/2009/02/13/254519.html）