《机器学习》第2章中find-s算法的python实现

开坑记录《机器学习》学习过程中的一些小程序、思路等。

FIND-S，即寻找极大特殊假设。第2章中关于FIND-S的算法伪码如下：

表2-3 FIND-S算法
1. 将h初始化为H中最特殊假设
2. 对每个正例x
  ·对h的每个属性约束a[i]
      如果x满足a[i]
      那么不做任何处理
      否则将h中a[i]替换为x满足的另一个更一般约束
3. 输出假设h

具体实现的数据结构及一些细节如下：

一、假设：
H = {}
举例来说，对于Sky属性，有H['Sky']=[num,{value_list}]
其中num为满足约束的属性的数目，value_list为出现过的属性值的列表。由此可见，本实现并非严格意义上的FIND-S，实现方法更类似于列表后消除算法。这对于处理很大的假设空间是不现实的。稍后我将重新实现一个严格意义上的FIND-S算法。

二、输入数据文件格式说明

width=N表示属性的个数，包括正例或反例标志在内；

title行表示属性名，属性名之间用","隔开；

接下来是样例数据，每条数据一行，用","隔开各属性的值。

另外对输入数据的合法性未作严格检测。

三、一般性

FIND-S算法实现的核心为样例及假设的一般性比较，此处简单地使用形如if d[key] not in H[key][1]的方式来判断当前样例属性的