概念学习:是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。
归纳学习假设:任一假设如果在足够大的训练样例集中很好的逼近目标函数,它也能在未见实例中很好的逼近目标函数。
一致:一个假设h与训练样例集合D一致,当且仅当对D中每一个样例< x, c(x) >都有h(x)=c(x)。
一个样例x在h(x)=1时称为满足假设h,无论x是目标概念的正例还是反例。
当一假设能正确划分一个正例时,称该假设覆盖该正例。
变型空间(version space):与训练样例一致的所有假设组成的集合,表示了目标概念的所有合理的变型。
候选消除算法
将G集合初始化为H中极大一般假设
将S集合初始化为H中极大特殊假设
如果d是一个正例:
从G中移去所有与d不一致的假设
对S中每个与d不一致的假设s
从S中移去s
把s的所有的极小一般化式h加入到S中,其中h满足h与 d一致,而且G的某个成员比h更一般
从S中移去所有这样的假设:它比S中另一个假设更一般
如果d是一个反例:
从S中移去所有与d不一致的假设
对G中每个与d不一致的假设g
从G中移去g
把g的所有的极小特殊化式h加入到G中,其中h满足h与d一致,而且S的某个成员比h更特殊
从G中移去所有这样的假设:它比G中另一个假设更特殊
候选消除算法的归纳偏置:目标概念c包含在给定的假设空间H中。