SVM的主要思想可以概括为两点: (1) 它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能; (2) 它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。
支持向量机的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地区分开来, 通常分为两类情况来讨论, (1) 线性可分,(2) 线性不可分。
1. 1 线性可分情况在线性可分的情况下
,就会存在一个超平面使得训练样本完全分开,该超平面可描述为: w ·x + b = 0 (1) 其中,“·”是点积, w 是n 维向量, b 为偏移量。
![](http://hiphotos.baidu.com/jrckkyy/pic/item/57f4388232dccdbaf703a688.jpg)
满足约束条件: , i = 1 ,2 ,3 ,......, n. (3)
在特征数目特别大的情况,可以将此二次规划问题转化为其对偶问题:
![](http://hiphotos.baidu.com/jrckkyy/pic/item/030e9c73120b34368601b08a.jpg)
![](http://hiphotos.baidu.com/jrckkyy/pic/item/43a5401f73e9ec49f724e48b.jpg)
![](http://hiphotos.baidu.com/jrckkyy/pic/item/30d2b85530f86ceeb645ae94.jpg)
![](http://hiphotos.baidu.com/jrckkyy/pic/item/3a133002224d23254afb5194.jpg)
这里 是Lagrange 乘子,
是最优超平面的法向量,
是最优超平面的偏移量,在这类
![](http://hiphotos.baidu.com/jrckkyy/pic/item/bee0238f17098fd0503d9290.jpg)
![](http://hiphotos.baidu.com/jrckkyy/pic/item/daf0027e2570e2120dd7da9b.jpg)
![](http://hiphotos.baidu.com/jrckkyy/pic/item/3bedbef31e3bfce10846e064.jpg)
本称为支持向量,故最终的分类函数为:
(9)
1. 2 线性不可分的情况
对于线性不可分的情况,可以把样本X 映射到一个高维特征空间H,并在此空间中运用原空间的函
数来实现内积运算,这样将非线性问题转换成另一空间的线性问题来获得一个样本的归属. 根据泛函的
用适当的内积函数就可以实现这种线性不可分的分类问题. 此时的目标函数为:
(10)
其相应的分类函数为: (11)
(12)
我们所能得到的是p阶多项式分类器,第二类是径向基函数(RBF),也称作高斯核函数: