[ML]概念学习——Find-S与候选消除

简要地介绍了一些机器学习的知识后，我们先来了解一些离散的学习模型。
Level 1 Concept Learning （被老师誉为最简单学习模型的概念学习模型orz）

概念学习（Concept Learning）

首先，概念学习嘛，重点肯定在“概念”两字。但如果问一下自己，啥是“概念”嘞？emmm…新概念？概念股？只可意会，难以言传，如此晦涩难懂，那就不如百度一下;)

概念是人类在认识过程中，从感性认识上升到理性认识，把所感知的事物的共同本质特点抽象出来，加以概括，是自我认知意识的一种表达，形成概念式思维惯性。

ok，有了上述解释，我们就不难理解概念学习的含义了。所谓概念学习也就是模仿人类学习归纳过程中，对事物的认知从感性上升到理性（仿佛感受到了来自考研政治深深的恶意），概括事物本质并形成思维惯性的过程，从而达到判断是非的能力。注意：它是一种经验引导的算法，也就是启发式算法啦。

用机器学习的语言来说：概念学习的目的，就是让你从训练样本集D中来去归纳演绎出一般规律，来覆盖假设空间H。从一般（general）到特殊（special）是概念学习的精髓所在。

接着，还是拿判断性别（Task）的例子来看琢磨琢磨吧：如果给定了下列6个判断性别这一概念的一些子集（训练样本集D），你该如何去推断演绎整个假设空间H呢？

Example	Beard	Hair	Height	Figure	Tone	M/F
1	yes	short	tall	normal	low	M
2	yes	short	tall	thin	low	M
3	no	long	short	fat	high	F
4	yes	long	mormal	fat	low	M
5	yes	short	short	normal	low	M
6	no	long	normal	normal	low	F

分析假设空间前，我们先看上述性别判定问题中实例集X可能的取值：

属性	取值
Beard	yes no ? $\varphi$
Hair	short long ? $\varphi$
Hight	tall short normal ? $\varphi$
FIgure	thin fat normal ? $\varphi$
Tone	high low ? $\varphi$

等一下，? 和$\varphi$是什么鬼？为啥所有属性都可以取到这俩鬼东西？想想我们在集合论中学习的知识，$\varphi$表示什么？没错，空集！如果这一属性取$\varphi$，那么它一定是一个特殊分子，我们称实例集序列