41、大数定律一致性的深入探讨

大数定律一致性的深入探讨

在机器学习和统计学领域，我们常常会面临如何从数据中选择合适的分类器或回归函数的问题。本文将深入探讨通过最小化经验平方误差来选择分类器的方法，以及与之相关的大数定律一致性问题。

1. 最小化经验平方误差

在之前的研究中，我们使用数据 (D_n) 从候选回归函数类 (F) 中选择函数 (\eta_n)，对应的分类规则为 (g_n = I{\eta_n>1/2})。之前的选择方法分为两步：先形成 (F) 的一个骨架（(\epsilon) - 覆盖），然后在这个骨架上最小化经验误差计数。但这种方法在计算上较为繁琐，因此我们考虑使用其他经验量来选择分类器，其中最流行的就是经验平方误差。

假设函数 (\eta_n) 是通过在 (F) 上最小化经验平方误差来选择的。我们关心的是由此得到的分类器的误差概率 (L(\eta_n))。如果真实的回归函数 (\eta(x) = P{Y = 1|X = x}) 不在类 (F) 中，那么最小化经验平方误差可能会失败。但如果 (\eta \in F)，对于每个 (\eta’ \in F)，我们有：
[L(\eta’) - L^ \leq 2E{(\eta’(X) - \eta(X))^2}]
通过类似引理 8.2 的证明过程，可得：
[L(\eta_n) - L^ < 2E{(\eta_n(X) - Y)^2|D_n} - \inf_{\eta’ \in F} E{(\eta’(X) - Y)^2}]
如果上述上确界收敛到零，那么这种方法就是一致的。我们定义 (Z_i = (X_i, Y_i)) 和 (l(Z_i) = (\eta’(X_i) - Y_i)^2