机器学习连载系列（一）绪论 -----西瓜书

最近想全面地再从头熟悉一遍基础知识，所以有了这个系列，方便自己后面看的时候抓重点。

目录

1、假设空间

2、没有免费的午餐（NFL)

3、归纳偏好

4、发展历程

---

1、假设空间

假设空间的大小等于 其中features表示特征i的取值个数。

2、没有免费的午餐（NFL)

意味着如果所有问题出现的机会相同，或所有问题同等重要，那么任意两个学习算法的期望性能相同。

3、归纳偏好

归纳偏好意味着在假设空间中在训练集上并不是等效的。

4、发展历程

机械学习：死记硬背式学习，没有真正地学习，仅是在进行信息存储与检索；

从样例中学习（广义的归纳学习）包括监督学习、无监督学习。

• 符号主义学习：决策树和基于逻辑的学习（代表：归纳逻辑程序设计ILP）

• 连接主义学习：基于神经网络（异或、BP、调参）

• 统计学习：支持向量机+核方法