西瓜书《机器学习》课后答案——Chapter1

1.1
请查看西瓜书《机器学习》阅读笔记1——Chapter1_假设空间中列举的所有假设。现在只有西瓜1和西瓜4两个样本：
西瓜1为正例，找到假设空间中和它一致的假设：10，12，14，16，58，60，62，64
西瓜4为反例，找到假设空间中和它一致的假设：23，24，31，32，55，56，63，64
保留西瓜1的结果，去除西瓜4的结果，得到版本空间：10，12，14，16，58，60，62
1.2
待写
1.3若数据包含噪声，则假设空间中有可能不存在与所有训练样本都一致的假设。在此情形下，试设计一种归纳偏好用于假设选择。
解答：
给定训练数据，可能出现假设空间中有多个假设匹配该训练数据的情况（构成版本空间），也可能出现没有假设匹配训练数据的情况。
在第一种情况出现时，需要根据学习算法本身的归纳偏好从版本空间中选择偏好的那个假设。
在第二种情况出现时，还是需要从假设空间中选择一个可能好的假设，可以为学习算法设计这样的归纳偏好：选择最匹配训练数据的假设，也即最好的那个；如果有多个最好的假设，选择最简单的那个假设。

1.4本章在论述No Free Lunch定理时，默认使用了分类错误率作为性能度量来对分类器进行评估。若换用其他性能度量$l$，试证明No Free Lunch定理仍然成立。
解答：

$$\begin{align}\sum_fE_{ote}({\cal{L}}_a|X,f) & =\sum_f\sum_h\sum_{x\in {{\cal X}-X}}P(x)l\left(h(x),f(x)\right)P(h|X,{\cal{L}}_a) \\ &=\sum_h\sum_{x\in {{\cal X}-X}}P(x)P(h|X,{\cal{L}}_a)\sum_fl\left(h(x),f(x)\right) \\ &=\sum_h\sum_{x\in {{\cal X}-X}}P(x)P(h|X,{\cal{L}}_a)2^{|{\cal X}|-1}\left(l\left(h(x),h(x)\right)+l\left(h(x),!h(x)\right)\right) \end{align}$$
如果NFL定理成立，那么需要 $l\left(h(x),h(x)\right)+l\left(h(x),!h(x)\right)$为常数。
当 $h(x)=0$时， $l\left(h(x),h(x)\right)+l\left(h(x),!h(x)\right)=l(0,0)+l(0,1)$；当 h(