一个证明题
周志华《机器学习》第一章中,有一个关于“没有免费的午餐”定理的题目,题目是这样的:
假设样本空间 X \mathcal{X} X和假设空间 H \mathcal{H} H都是离散的,令 P ( h ∣ X , L a ) P(h|X,\mathcal{L}_a) P(h∣X,La)为算法 L a \mathcal{L}_a La基于训练数据 X X X产生假设 h h h的概率,令 f f f代表真实目标函数。考查二分类问题, f f f可以是任何函数 X ↦ { 0 , 1 } \mathcal{X} \mapsto \{0,1\} X↦{
0,1},函数空间为 { 0 , 1 } ∣ X ∣ \{0,1\}^{\vert \mathcal{X} \vert} {
0,1}∣X∣,假设 f f f是均匀分布(即不管 h ( x ) h(x) h(x)是什么,都有一半的 f f f对 x x x的预测与 h ( x ) h(x) h(x)不一致)。现在采用 ℓ ( h ( x ) , f ( x ) ) \ell(h(x),f(x)) ℓ(h(x),f(x))作为分类器的性能度量,考虑 L a \mathcal{L}_a La的“训练集外误差”:
E o t e ( L a ∣ X , f ) = ∑ h ∑ x ∈ X − X P ( x ) ℓ ( h ( x ) , f ( x ) ) P ( h ∣ X , L a ) E_{ote}(\mathcal{L}_a | X,f)=\sum_h \sum_{x\in \mathcal{X}-X} P(x)\ell({h(x),f(x)}) P(h|X, \mathcal{L}_a) Eote(La∣X,f)=h∑x∈X−X∑P(x)ℓ(h(x),f(x))P(h∣X,La)
试证明“没有免费午餐定理”成立。
分析与解答
题目未给定 ℓ ( h ( x ) , f ( x ) ) \ell(h(x),f(x)) ℓ(h(x),f(x))的具体形式,但在二分类问题中,无非就4种情况。记 ℓ ( 1 , 1 ) = ℓ 1 \ell(1,1)=\ell_1 ℓ(1,1)=ℓ1, ℓ ( 0 , 1 ) = ℓ 2 \ell(0,1)=\ell_2 ℓ(0,1)=ℓ2, ℓ ( 1 , 0 ) = ℓ 3 \ell(1,0)=\ell_3 ℓ(1,0)=ℓ3, ℓ ( 0 , 0 ) = ℓ 4 \ell(0,0)=\ell_4 ℓ(0,0)=ℓ4,它们都是常数。将 L a \mathcal{L}_a La的训练集外误差对所有 f f f按均匀分布求和为:
∑ f E o t e ( L a ∣ X , f ) = ∑ f ∑ h ∑ x ∈ X − X