候选消除算法

介绍几个基本概念

实例空间 X：使用属性描述的实例（定义域）
概念空间 C：目标概念的集合（值域）
假设空间 H：所有映射集合的全集
假设集合 D：目标概念的正例与反例（已知的点）
搜索问题可以由计算机实现。

候选消除算法

将G（最一般假设集合）中集合初始化为H（假设）中极大一般假设
将S中集合初始化为H中极大特殊假设：
if d是正例：

1. 从G中移除所有与d不一致的假设；
2. 对S中的每一个与d不一致的假设s，从S中移除s；
3. 把s的所有极小化一般式h加入到S中，其中h满足h与d一致，且G的某个成员比h更一般；
4. 从S中移除这样的假设：它比S中另一假设更一般

机器学习-作业一

一、在候选消除算法中，如果训练样例按照下表逆序出现，请分步给出S和G边界集合。虽然不论样例出现顺序如何，最终的变型空间相同（为什么？）在中间步骤中得到的S和G仍依赖于该顺序。是否有办法对训练样例排序，以使EnjoySport例子中的所有S和G集合的中间结果的大小之和为最小？

Example	Outlook	AirTump	Humidity	Wind	Water	Forecast	EnjoySport
D1	Sunny	Warm	Normal	Strong	Warm	Same	No
D2	Sunny	Warm	High	Strong	Warm	Same	No
D3	Rainy	Cold	High	Strong	Warm	Change	Yes
D4	Sunny	Warm	High	Strong	Cool	Change	Yes

解答过程如下

上表逆序出现即D4–>D3–>D2–>D1


结果相同是因为算法步骤确定，在有限步骤可以得到确定的S和G，每一步的逻辑都是要在S与正例一致，且不比正例特殊，移除与反例不一致的假设。G要比S更一般且不包含反例的假设

中间步骤吗？？
先统一处理正例，再统一处理反例
正样例是从特殊到一般化的过程；即扩充S的过程
负样例是一般到特殊化的过程：即缩小G的过程。
将正样例加入到S中，将负样例（对比正样例中不一致的地方，这些是引起样例变负的原因）从G中剔除掉。

如果定义一个新的假设空间，它包含H中所有的假设空间成对吸取。给出消除算法的在以下训练样例的执行过程。