1.增长函数
增长函数表示假设空间H对m个示例所能赋予标记的最大可能结果数。
比如说现在数据集有两个数据点,考虑一种二分类的情况,可以将其分类成A或者B,则可能的值有:AA、AB、BA和BB,所以这里增长函数的值为4. 增长函数值越大则假设空间H的表示能力越强,复杂度也越高,学习任务的适应能力越强。不过尽管H中可以有无穷多的假设h,但是增长函数却不是无穷大的:对于m个示例的数据集,最多只能有2m个标记结果,而且很多情况下也达不到2m的情况。
2.对分
对于二分类问题来说,H中的假设对D中m个示例赋予标记的每种可能结果称为对D的一种对分。对分也是增长函数的一种上限。
3.打散
打散指的是假设空间H能实现数据集D上全部示例的对分,即增长函数=2^m。
4.VC维度
假设空间H的VC维是能被H打散的最大的示例集(数据集)的大小,即有:
其中为∏(m)假设空间在数据集大小为m时的增长函数。对于一个假设空间,如果存在m个数据样本能够被假设空间中的函数按所有可能的种形式分开,则称假设空间H能够把m个数据样本打散。假设空间H的VC维就是能打散的最大数据样本数目m。若对任意数目的数据样本都有函数能将它们shatter,则假设空间H的VC维为无穷大。
问题解释:
2-D的感知机的VC维度是3代表着在二维平面中做一个二分类问题,当数据大小为3的时候,无论数据的分布是什么,都存在一条线可以将他们区分。但是当增加一个数据,则对2^4种对分情况,至少存在一种对分不能被线性划分,例如二维空间感知机无法解决异或问题。
在课堂上提到的一种情况:
在二维平面中,如果三个样本处在一条直线上依次标记为(+,-,+),此时依旧无法对其进行线性划分,我认为这种情况下,样本不在是处于一个二维平面,而是一个一维直线,也就是此时是一个1-D的感知机而它的VC维度应该是2,不是3。