西瓜书学习笔记（一）

这本书一共16章，大体分为三部分：

1. 第一部分：1-3章，介绍机器学习基础知识
2. 第二部分： 4-10章，介绍经典而常用的机器学习方法
3. 第三部分：11-16章，介绍一些进阶知识
   其中前三章之后各部分内容相对独立。

第一章 绪论

样本空间：

训练集为样本空间的一个很小的采样，通常我们假设样本空间中全体样本服从一个未知分布D,我们获得的每个样本都是独立地从这个分布上采样获得的，即独立同分布（i. i. d.），即训练样本越多我们得到的关于D的信息越多。

假设空间：

把学习过程看作为一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集“匹配”的假设。

例如：
书中判断好瓜坏瓜的例子，有三个属性：色泽，根蒂，敲声，分别有3，3，2种取值，另外还有可能某个取值无影响，即取任何值都无所谓，用“*”表示，另外还有可能根本不存在好瓜，这样子得到的假设空间大小为4*3*3+1=37。

在这个假设空间中，可能有多个假设和训练集一致，我们称之为“版本空间”

归纳偏好

在版本空间中该选则哪一个假设？这时我们必须有某种偏好。

例如：
在回归问题中，存在多条曲线与有限样本训练集一致，即有多条曲线穿过样本点，如果我们偏好“更简单的假设”，则意味着我们会选择更平滑的曲线。

但是，“没有免费的午餐”定理（NFL）告诉我们，脱离具体问题，空谈“什么算法更好”毫无意义，在某些问题上表现好的在另一些问题上不一定好。