模式识别学习笔记（13）——svm

SVM

它有什么优点？有什么缺点？

为什么要有SVM？在什么情况下我需要用svm？

考虑一个最简单的线性分类器，在很多情况下，用线性是分不开的，如果我们有很多的feature，将其映射到高维空间，可以使其线性可分（实际上是核方法的思想）。在feature很多的情况下，如果我们还用传统的方法，比如感知器，去训练的话，因为k维空间的VC维是k+1，当映射到高维空间，k增加的时候，这个VC维也在跟着增加，而我们知道VC维越高，泛化性能越差，所以用这种传统的方法泛化能力差，不适用。我们需要找到一种新的方法使得VC维低。而这种新的方法是什么呢？large margin。why？很多数学证明表示large margin有很低的VC维。所以我们要找一个使得margin最大的分类面。

VC维

--k维空间的VC维是k+1

--VC维越高，分类器越flexible，但泛化能力越差；VC维越低，泛化能力越好

--VC维只是理论上的一个概念，很多分类器的VC维实际中是很难准确计算的

--定性地，我们认为一个分类