【习题集三】学习理论和无监督学习

1. 一致收敛和模型选择 Uniform Convergence and Model Selection

在这一问题中，我们希望得到使用模型选择模型误差的上界。

考虑一个二分模型，即y的值只可能为0或者1，并假设我们有k个有限假设集，分别为H1⊆H2⊆...⊆Hk，给定一个具有m个独立同分布iid的元素的数据集S，我们使用前(1-β)m个数据作为训练集Strain，用剩余的βm个数据作为保留的交叉验证Cross Validation集Scv，其中β是0和1之间的数。

此时我们用表示在假设集Hi中可取得最小训练误差的假设，并用表示假设集Hi中最小泛化误差的假设。

假设我们通过经验误差最小化算法ERM获得了所有的hi_hat，再从这一集合中选择泛化误差最小的那个，此时算法的输出为

在这一问题中，我们想要具体证明的是，对于确定的δ>0，我们有最低1-δ的概率保证如下关系式成立

（1）首先我们希望证明对于所有的hi_hat，有1-δ/2的概率满足

解：对于任意