机器学习的一些概念

增长函数（growth function）：增长函数表示假设空间H对m个示例所能赋予标记的最大可能结果数。对于m个示例的数据集，最多只能有2^m个标记结果，而2很多情况下达不到2^m个。
比如说现在数据集有两个数据点，考虑一种二分类的情况，可以将其分类成A或者B，则可能的值有：AA、AB、BA和BB，所以这里增长函数的值为4.

对分（dichotomy）：对于二分类问题来说，H中的假设对D中m个示例赋予标记的每种可能结果称为对D的一种dichotomy。对分也是增长函数的一种上限。

打散（shatter）：打散指的是假设空间H能实现数据集D上全部示例的对分，即增长函数=2^m。

断点（break point）：我们希望假设空间H的增长函数越小越好（这样子假设空间比较简单），或者至少不要增长的太快——如果按照这种趋势增长那简直是没天理了。上面说道了，随着m的增大，一定会出现一个m使假设空间无法shatter。这种不满足 的情况说明增长函数从这个点开始变缓了，是一个可喜可贺的重大突破，所以我们把第一个不满足shatter的m值称为break point（这里翻译成突破点）。
（以上4个概念引用于知乎用户 王留行）

上限函数bounding function：当break point = k是，成长函数的最大值mh(N)。

VC Dimension：最大的non-break point的点的正式名称。（最大non-break point是break point减1）