西瓜书第一章阅读笔记

第一章 绪论

1、机器学习基本术语

• 记录：对一个事件或对象的描述，也称为“示例”（instance）或“样本”（sample）。
• 数据集 data set：一组记录的集合。
• 属性 attribute/特征 feature：反映事物某方面的表现或性质的事项。其相乘的空间称为“属性空间”或“样本空间”，空间中的每个点对应一个坐标向量，该坐标向量称为“特征向量”（feature vector）。属性的个数也称为样本的维数。
• 假设 hypothesis：模型在训练集上学得的规律，其越接近数据的某种潜在规律（ground truth）则认为越好。
• 学习 learning/训练 training：从数据中学得模型得过程。训练样本构成训练集（training set）。学习过程可以视为在所有假设组成的空间中进行搜索的过程。又因为假设空间通常很大，而样本的数量有限，所以可能存在多个假设与训练集一致的情况，称这些假设组成的“假设集合”为“版本空间”。
• 标记 label：示例/样本的结果信息。拥有标记新的示例称为“样例”（example），可组成标记空间。
• 泛化：学得模型适用于新样本的能力。

2、归纳偏好

• 机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”。
• 任何一个有效的机器学习算法必有其归纳偏好，否则其将会倍假设空间中看似在训练集上等效的多个假设所迷惑而无法产生确定的学习结果。
• 归纳偏好实际上就是在对应 “什么样的模型更好” 的假设。
• 对于学习算法A、B，若在A某些问题上比学习算法B好，则必然存在另一些问题上B比A好

在回归问题中可以很好理解“归纳偏好”。在对有限个样本点进行拟合时，我们可以找到多条曲线符合要求，但根据不同的偏好，我们最终会选择不同的曲线。
例如参考“奥卡姆剃刀”原则——“若有多个假设与观察一直，则选择最简单的一个”，我们趋向于选择符合条件的曲线中更简单、更平滑的曲线。

3、所有学习算法一样优秀？

式子1.2显示出，总误差与学习算法无关。

“没有免费的午餐”定理（NFL）

也就是说所有学习算法的期望性能跟胡思乱猜差不多，那这是不是意味着各种学习算法的研究没有意义呢？
　　并不是。
　　NFL定理一个重要前提：所有“问题”出现的机会相同、或所有问题同等重要。但在实际运用中，我们只关注自己正在试图解决的问题上找到一个好的解决方案，而对于该方案是不是在别的问题或相似问题上也是好方案并不关心。
　　所以，NFL的寓意：如果考虑所有潜在的问题，则所有的学习算法一样好，可见脱离具体问题，空泛地谈论“什么学习算法”更好毫无意义。

4、补充资料

• 关于NFL定理一些理解