西瓜书（周志华）__笔记（第一章 绪论）

目录

1.1引言
1.2基本术语
1.3假设空间
1.4归纳偏好
1.5发展历程
1.6应用现状
1.7阅读材料

一、基本术语

1、 一个样本的属性，如西瓜的色泽、根蒂、敲声
2、 属性上的取值，称为属性值。如色泽是青绿的还是乌黑的。
3、 属性张成的空间称为属性空间，或样本空间，或输入空间。例如我们以色泽、根蒂、敲声作为西瓜的三个属性，构造出一个三维的空间，称为属性空间。
4、 一般令 D={x1,x2,…,xm} 表示包含m个西瓜的数据集。而每一个西瓜则有 xi= {xi1, xi2, xi3} 三个属性。

5、 分类、回归、聚类的区别。
分类：表示我们预测的是离散值，如好瓜与坏瓜。
回归：表示我们预测的是连续值，如西瓜成熟度为0.97、0.37。
聚类：所要划分的类是我们未知的。

6、 监督学习 与 无监督学习：分类和回归是前者的代表，而聚类则是后者的代表。

二、假设空间

归纳：从特殊到一般的泛化过程
演绎：从一般到特殊的特化过程

版本空间：可能有多个假设与训练集的一致，即存在着一个与训练集一致的“假设集合”，我们称之为版本空间。

三、归纳偏好

NFL定理（No Free Lunch Theorem):无论算法LA多聪明，LB多笨拙，但是他们的期望性是一样的。
证明如下：