1.1 引言
机器学习概念:机器学习(ML)所研究的主要内容,是关于在计算机上从数据中产生“模型”的算法,即“学习算法”。有了学习算法,我们把经验数据提供给它,就能基于这些数据产生模型。
1.2 基本术语
- 所有训练样本的集合为:训练集(trainning set)
- 所有测试样本的集合为:测试集(test set)
- 机器学习出来的模型适用于新样本的能力为:泛化能力(generalization),即从特殊到一般。
- 样本越多≠泛化能力越强
有标识信息 | 有监督学习 | 分类——输出离散值 |
回归——输出连续值 | ||
无标识信息 | 无监督学习 | 聚类 |
1.3 假设空间
- 归纳:特殊到一般
- 演绎:一般到特殊
1.4 归纳偏好
- 尽可能特殊:适用情形尽可能少
- 尽可能一般:适用情形尽可能多
- 奥卡姆剃刀原则:若有多个假设与观察一致,则选择最简单那个(选A)