周志华西瓜书笔记 1.3 假设空间

1.2 假设空间

  归纳(induction)是从特殊到一般的 “泛化”(generalization)过程, 即从具体的事实归结出一般性规律; 演绎(deduction)是从一般到特殊的 “特化”(specialization)过程, 即从基础原理推演出具体状况. e.g.,在数学公理系统中, 基于一组公理和推理规则推导出与之相洽的定理, 是演绎; 而"从样例中学习"是一个归纳的过程, 因此亦称"归纳学习"(inductive learning).

  广义的归纳学习相当于从样例中学习, 狭义的归纳学习则要求从训练数据中学得概念(concept), 因此亦称为"概念学习" 或 “概念形成”.

  概念学习中最基本的是布尔概念学习, 即对 “是” “不是” 这样的可表示0/1布尔值的目标概念的学习.

  把学习过程看作一个在所有假设(hypothesis)组成的空间中进行搜索的过程, 搜索目标是找到与训练集 “匹配”(fit)的假设, 即能够将训练集中的瓜判断正确的假设. 假设的表示一旦确定, 假设空间及其规模大小就确定了.

  可以有许多策略对这个假设空间进行搜索, 搜索过程中可以不断删除与正例不一致的假设、和(或)与反例一致的假设. 最终将会获得与训练集一致的假设, 这就是学得的结果.

  学习过程是基于有限样本训练集进行的, 因此可能有多个假设与训练集一致, 即存在着一个与训练集一致的 “假设集合”, 称之为 “版本空间”(version space).