《机器学习（周志华）》Chapter1 绪论 课后习题答案

表1.1 包含4个样例，3种属性，假设空间中有3 * 4 * 4 + 1 = 49种假设。在不考虑冗余的情况下，最多包含k个合取式来表达假设空间，显然k的最大值是49，每次从中选出k个来组成析合式，共​种可能。但是其中包含了很多沉余的情况(至少存在一个合取式被剩余的析合式完全包含<空集除外>)。

如果考虑沉余的情况 在这里忽略空集，一个原因是并不是太明白空集是否应该加入析合式，另外就算需要加入，求出了前面48种假设的组合，可以很容易求出加入空集后的组合数(每种可能都可以加上空集，再加上1种空集单独的情况)。 48种假设中： 具体假设：2∗3∗3=18种 一个属性泛化假设：2∗3+3∗3+2∗3=21种 两个属性泛化假设：2+3+3=8种 三属性泛化：1种

回答1：
1). 通常认为两个数据的属性越相近，则更倾向于将他们分为同一类。若相同属性出现了两种不同的分类，则认为它属于与他最临近几个数据的属性。
2). 也可以考虑同时去掉所有具有相同属性而不同分类的数据，留下的数据就是没误差的数据，但是可能会丢失部分信息。
回答2：
1). 定义一个阈值，只要训练后满足的样本数量百分比达到这个阈值即可。
2). 在训练过程中选择满足最多样本的假设。

NFL首先要保证真目标函数f均匀分布。对于X个训练数据的二分类问题，显然f共有种情况，其中一半是与假设一致的，也就是P(f(x) = h(x)) = 0.5.因此，其中应为常数，如果性能度量为错误率，二者各为0.5，则该值为1，如果为其他性能度量，根据网友的想法：，应当隐含这样的充分条件。

https://wenku.baidu.com/view/fd90c73f4b35eefdc8d3335e.html