ESL2.4 统计判别理论学习笔记（含MSE和泛化误差详解）

2.4 统计判别理论

这是一篇有关《统计学习基础》，原书名The Elements of Statistical Learning的学习笔记，该书学习难度较高，有很棒的学者将其翻译成中文并放在自己的个人网站上，翻译质量非常高，本博客中有关翻译的内容都是出自该学者的网页，个人解读部分才是自己经过查阅资料和其他学者的学习笔记，结合个人理解总结成的原创内容。
有关ESL更多的学习笔记的markdown文件，可在作者GitHub上查看下载。

原文	The Elements of Statistical Learning
翻译	szcf-weiya
时间	2018-08-21
解读	Hytn Chen
更新	2020-01-07

翻译原文

这一节我们讨论一小部分理论，这些理论提供构建模型的一个框架，比如我们目前为止所有非正式讨论的模型．我们首先考虑定量输出时的情形，而且从随机变量和概率空间的角度来考虑．记 $X\in {\mathrm{I}\mathrm{R}}^{\mathrm{p}}$ 为实值随机输入向量，$Y\in \mathrm{I}\mathrm{R}$ 为实值随机输出变量，联合概率分布为 $\mathrm{Pr}(X,Y)$．给定输入 $X$，我们寻找一个函数 $f(X)$ 来预测 $Y$．这个理论需要一个 损失函数 (loss function) $L(Y,f(X))$ 用来惩罚预测中的错误，到目前为止最常用并且最方便的是 平方误差损失 (squared error loss): $L(Y,f(X))=(Y-f(X){)}^2$．这促使我们寻找 $f$ 的一个准则——预测（平方）误差的期望$$EPE(f)=E(Y-f(x){)}^2\text{\hspace{1em}(2.9)}$$用积分的形式表示就是
$$\begin{array}{rl}\mathrm{E}\mathrm{P}\mathrm{E}(\mathrm{f})& =E(Y-f(X){)}^2\\ & =\int [y-f(x){]}^2\mathrm{Pr}(dx,dy)\end{array}\text{\hspace{1em}(2.10)}$$

在 $X$ 的条件下，我们可以把 $\mathrm{E}\mathrm{P}\mathrm{E}$ 写成

$$\mathrm{E}\mathrm{P}\mathrm{E}(\mathrm{f})={\mathrm{E}}_{\mathrm{X}}{\mathrm{E}}_{\mathrm{Y}\mid \mathrm{X}}([\mathrm{Y}-\mathrm{f}(\mathrm{X}){]}^2\mid \mathrm{X})\text{\hspace{1em}(2.11)}$$

而且我们看到使 $\mathrm{E}\mathrm{P}\mathrm{E}$ 逐点最小就足够了：

$$f(x)={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_{\mathrm{c}}{\mathrm{E}}_{\mathrm{Y}\mid \mathrm{X}}([\mathrm{Y}-\mathrm{c}{]}^2\mid \mathrm{X}=\mathrm{x})\text{\hspace{1em}(2.12)}$$

解为

$$f(x)=\mathrm{E}(\mathrm{Y}\mid \mathrm{X}=\mathrm{x})\text{\hspace{1em}(2.13)}$$

这是条件期望，也被称作 回归 (regression) 函数．因此，在任意点 $X=x$ 时 $Y$ 的最优预测是条件均值，此处的最优是用平均平方误差来衡量的．

此处条件是指对联合概率密度分解 $\mathrm{Pr}(X,Y)=\mathrm{Pr}(Y\mid X)\mathrm{Pr}(X)$，其中 $\mathrm{Pr}(Y\mid X)=\mathrm{Pr}(Y,X)/\mathrm{Pr}(X)$，因此分解成了双变量的积分．

最近邻方法试图直接利用训练数据完成任务．在每一点 $x$ 处，我们可能需要输入变量 $x_i=x$ 附近的所有 $y_i$ 的均值．因为在任一点 $x$，一般至多有一个观测值，我们令

$$\hat{f}(x)=\mathrm{A}\mathrm{v}\mathrm{e}({\mathrm{y}}_{\mathrm{i}}\mid {\mathrm{x}}_{\mathrm{i}}\in {\mathrm{N}}_{\mathrm{k}}$$