第六章 支持向量机

支持向量机

一．基础知识

1 概念及定义

　　支持向量机是一个二类分类模型，基本模型的定义为：是在特征空间上的间隔最大的线性分类器

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面．

　　二次规划是一类典型的优化问题,包括凸二次优化和非凸二次优化

　　目标函数是变量的二次函数,约束条件是变量的线性不等式

核技巧(kernel trick):
　　　一般用来解决非线性分类问题,将非线性问题转换成线性问题

  　第一步:首先使用一个变换将原空间的数据映射到新空间

  　第二步:在新的空间里用线性分类学习方法从训练数据中学习分类模型

2.专有概念及名词

函数间隔(functional margin):用 $\hat{\gamma}=y(w\cdot x+b)$ 来表示分类的正确性及确信度．

几何间隔(geometric margin):对分离超平面进行规范化，例如$\left\|w \right\|=1$,这个时候函数间隔成为几何间隔．

样本点$(x_{i},y_{i})$和超平面$(w,b)$的几何间隔

$$\gamma_{i}=y_{i}(\frac{w}{\left\|w\right\|}\cdot x_{i}+\frac{b}{\left\|w\right\|})$$

取集合中所有样本点中几何间隔最小值

$$\gamma=\min_{i=1,...N}\gamma_{i}$$

软间隔最大化：对于线性不可分的问题，通过修改约束条件实现数据的近似线性可分．叫做线性支持向量机的软间隔最大化

支持向量机不仅可以用于分类问题，在回归问题上也可以较好的使用．

支持向量回归(support vector regression)SVR:
支持向量回归有一个容忍偏差范围，当预计值和结果的偏差在范围（相当于间隔的一个区间）之内则认为预测是正确的．

二．思想脉络

所有的机器学习方法：

$$方法＝策略＋模型＋算法$$

模型：就是假设空间的公式(条件概率分布和决策函数)

策略：选择最优的模型(利用损失函数，风险函数来进行选择)

算法：具体的计算方法(求解最优模型)

支持向量机的学习目标：

在特征空间中找到一个分离超平面，能够将实例分到不同的类，分离超平面对应于方程

$$w\cdot x+b=0$$

由法向量和截距决定，分离超平面将特征空间分成两类，一部分是正类，一部分是负类．法向量指向的一侧为正类，另一侧为负类．

利用间隔最大化来寻找分离超平面

间隔最大化

求解间隔最大分离超平面，可表示为下面的约束最优化问题：

$$\max_{w,b} \gamma$$ $$s.t. y_{i}(\frac{w}{\left\|w\right\|}\cdot x_{i}+\frac{b}{\left\|w\right\|})\geq \gamma, i=1,2...N 　　公式１$$

考虑到函数间隔和几何间隔之间的关系，可将问题改写成

$$\max_{w,b} \frac{\hat{\gamma}}{\left\|w \right\|}$$ $$s.t. y_{i}(w\cdot x_{i}+b)\geq \hat{\gamma}, i=1,2...N 　　公式２$$

函数间隔的取值不影响函数最优化问题的解．取$\hat{\gamma}=1$
注意到最大化$\frac{1}{\left\|w \right\|}$和最小化$\frac{1}{2}\left\|w \right\|^{2}$ 是等价的．

得到线性可分支持向量机的学习最优化问题：

$$\min_{w,b} \frac{1}{2}\left\|w \right\|^{2}$$ $$s.t. y_{i}(w\cdot x_{i}+b)-1\geq 0, i=1,2...N　　公式３$$

凸最优化问题

凸最优化问题变成凸二次规划问题(convex quadratic programming)

根据上述公式３求得最优解