今天开始学习周志华老师的机器学习这本书,一边学习一边记录笔记。
Chapter1 绪论
1.1 基本术语
- 数据集(data set):记录的集合
- 样本(sample):每条记录
- 属性(attribute)/特征(feature):反映事件或者对象在某方面的表现或者性质的事项
- 属性值(attribute value):属性的取值
- 属性空间(attribute space)/样本空间(sample space):属性张成的空间
- 学习(learning)/训练(training):从数据中获得模型
- 训练数据、训练样本、训练集
- 标记空间
- 分类、回归
- 监督学习、无监督学习
- 泛化
- 独立同分布(independent and identically distributed i.i.d.)
1.2假设空间
- 归纳(induction):从特殊到一般的泛化(generlization),从具体的事实归结出一般规律
- 演绎(deduction):从一般到特殊的特化(specialization),从基础原理推演出具体情况
从样例中学习是一个归纳的过程,因此亦称归纳学习(inductive learning)。
1.3归纳偏好
机器学习算法在学习过程中对某种类型假设的偏好,成为归纳偏好(inductive bias)。
奥卡姆剃刀(Occam’s razor)是一种常用的、自然科学研究中最基本的原则,即“若有多个假设与观察一致,则选择最简单的那个”