西瓜书学习笔记 第1章 绪论

本文仅针对个人不熟知识点进行整理，已知内容或过于简单的就不整理了。

第1章 绪论

1.3 假设空间

• 假设空间：所有假设组成的空间
  

• 版本空间：现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的假设集合，我们称之为版本空间 (version space)。
  也就是说这多个假设的集合就是假设集合，称为版本空间
  

1.4 归纳偏好

• 归纳偏好 (简称"偏好")：机器学习算法在学习过程中对某种类型假设的偏好。
• 奥卡姆剃刀：若有多个假设与观察一致，则选择最简单的那个。
• "没有免费的午餐”（No Free Lunch Theorem，简称NFL）定理：无论学习算法$L_a$多聪明、学习算法$L_b$多笨拙，它们的期望性能是相同的。
  （假设了$f$的均匀分布，而实际情况并非如此）

参考文献

1. 《机器学习》西瓜书读书笔记：「第一、二章」