VC维理论

在看SVM原理时看到VC维理论，看了下视频才了解了原理，贴上原视频地址：http://open.163.com/movie/2008/1/U/O/M6SGF6VB4_M6SGJURUO.html

原理如下，我自己总结的，如有错误请指出~~

以二分类为例：

存在一个函数集H（二分类集），存在一个含有d个目标的集合，每个目标有两种标记方式（正负两种，这里设的是二分类），那么这d个目标的标记方式就有2^d种，对于函数集H，存在一个函数能够实现对这2^d种正确分类，那么就说这个集合能被H分散，vc维即是这个分类器能分类的最大集合数，比如二分类的分类器，最多能分类3个目标，则称二分类的vc维是3.

比如H是二分类器，目标分类是3，如下图，

3个目标的标记方法有8种，如下：

每一种标记都能找到一个二分类器将其准确分类，比如：

但是当有4个点的时候，不能找到一个万能的二分类器将4个点的所有可能标记都完全分开，比如下图：

二分类器都是线性分，不能实现上述的分类图形，所以二分类的vc维是3。

多维的以此类推。