周志华《机器学习》笔记—第一章

1. 机器学习的概念

机器学习是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改变系统自身的性能。在计算机系统中，“经验”通常以“数据” 的形式存在。因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”（learning algorithm）。

2. 样本空间

属性或特征张成的空间称为“属性空间”，“样本空间”或“输入空间”。

3. 泛化能力

学习到的模型适用于新样本的能力。具有强泛化能力的模型能很好的适用于整个样本空间，通常训练集只是样本空间的一个很小的采样。

4. 归纳与演绎

归纳（induction）与演绎（deduction）是科学推理的两大基本手段。前者是从特殊到一般的“泛化”（generalization）过程，即从具体的事实归结出一般性规律；后者则是从一般到特殊的“特化”（specialization）过程，即从基础原理推演出具体情况。例如，在数学公理系统中，基于一组公理和推理规则推导出与之相洽的定理，这是演绎；而“从样例中学习”显然是一个归纳的过程，因此也称“归纳学习”（inductive learning）。

5. 归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”（inductive bias），或简称为“偏好”。
任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上“等效”的假设所迷惑，而无法产生正确的结果。
事实上，归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设。在具体的现实问题中，这个假设是否成立，即算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。