一个二分类下没有免费午餐定理的题

一个证明题

周志华《机器学习》第一章中，有一个关于“没有免费的午餐”定理的题目，题目是这样的：

假设样本空间$\mathcal{X}$和假设空间$\mathcal{H}$都是离散的，令$P(h|X,{\mathcal{L}}_a)$为算法${\mathcal{L}}_a$基于训练数据$X$产生假设$h$的概率，令$f$代表真实目标函数。考查二分类问题，$f$可以是任何函数 X ↦ { 0 , 1 } \mathcal{X} \mapsto \{0,1\} X↦{ 0,1}，函数空间为 { 0 , 1 } ∣ X ∣ \{0,1\}^{\vert \mathcal{X} \vert} { 0,1}∣X∣，假设$f$是均匀分布（即不管$h(x)$是什么，都有一半的$f$对$x$的预测与$h(x)$不一致）。现在采用$\ell (h(x),f(x))$作为分类器的性能度量，考虑${\mathcal{L}}_a$的“训练集外误差”：
$$E_{ote}({\mathcal{L}}_a|X,f)=\sum _h\sum _{x\in \mathcal{X}-X}P(x)\ell (h(x),f(x))P(h|X,{\mathcal{L}}_a)$$
试证明“没有免费午餐定理”成立。

分析与解答

题目未给定$\ell (h(x),f(x))$的具体形式，但在二分类问题中，无非就4种情况。记$\ell (1,1)={\ell }_1$，$\ell (0,1)={\ell }_2$，$\ell (1,0)={\ell }_3$，$\ell (0,0)={\ell }_4$，它们都是常数。将${\mathcal{L}}_a$的训练集外误差对所有$f$按均匀分布求和为：

∑ f E o t e ( L a ∣ X , f ) = ∑ f ∑ h ∑ x ∈ X − X