《机器学习（周志华）》 阅读笔记

1 绪论

1.1 引言

（什么是机器学习：让计算机通过已有的经验进行学习，做出归纳和判断。）

1.2 基本术语

尽管训练样本集只是样本空间的一个很小的采样，我们仍然希望它能很好的反应出样本空间的特性，否则就很难期望在训练集上学得的模型能在整个样本空间上都工作很好。（因此，要想模型能够准确的预测未见过的样本，至少它需要见过和它很相似的样本！当然，迁移学习提供了另一种思路。）

通常假设样本空间中全体样本服从一个未知分布，我们获得的样本都是独立的从这个分布上采样获得的，即“独立同分布”。（一定要记住和理解这个假设！例如，在训练深度学习模型时，根据某种固定模式生成训练数据，如果不是随机取batch sample而是顺序取，会发现训练时每次迭代loss震荡很大，就是因为数据不是采样得到的，而是每个batch都代表着某种类型的数据）

1.3 假设空间

（假设空间很大就是说，与训练集一致的模型可以有很多种。）

1.4 归纳偏好

归纳偏好可看做学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或价值观。
“奥卡姆剃刀”是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选择最简单的那个”。然而，它并非唯一可行原则。
NFL定理最重要是说，脱离具体问题，空泛的谈论“什么学习算法更好”毫无意义，因为若考虑所有潜在问题，则所