1.1 引言
定义:
- Arthur Samuel:不显式编程地赋予计算机能力的研究领域。
- Mitchell:假设用P来评估计算机程序在某任务类T上的性能,若一个程序通过利用经验E在T中任务上获得了性能改善,就说关于T和P,该程序对E进行了学习。
- 周志华:机器学习的主要内容:关于在计算机上从数据中产生“模型”的算法,即“学习算法”。
1.2 基本术语
数据:
分类:
泛化能力:学得模型适用于新样本的能力。
学习器:学习算法在给定数据和参数空间上的实例化。
1.3 假设空间
- 广义的归纳学习相当于从样例中学习,狭义的归纳学习则要求从训练数据中学得概念,亦称概念学习或概念形成。
- 学习过程可以看作在所有假设组成的空间中进行搜索的过程,目标是找到与训练集“匹配”的假设。假设的表示一旦确定,假设空间及其规模大小就确定了。
- 由于样本训练集有限,可能有多个假设与训练集一致,即存在一个训练集属于的假设集合,称为“版本空间”
1.4 归纳偏好
- 定义:学习过程中对某种类型假设的偏好,称为“归纳偏好”。
- 版本空间启发我们,任何一个学习算法必有归纳偏好,否则它将被看似“等效”的假设迷惑,无法产生确定的学习效果。
- 可以将其看作进行假设选择的启发式或价值观。
- 奥卡姆剃刀:若有多个假设与观察一致,选择最简单的那个。问题在于简单究竟是主观评价还是客观存在。
- 多释原则:保留与经验观察一致的所有假设。这与集成学习吻合。
- NFL定理表明,归纳偏好是否与问题本身匹配,大多数时候直接决定了算法能否取得好的性能。