统计学习精要 (Elements of Statistical Learning ) 习题 5.10

最新推荐文章于 2018-09-17 10:04:47 发布

秋海棠的歌声

最新推荐文章于 2018-09-17 10:04:47 发布

阅读量1.3k

点赞数

分类专栏：统计学习精要文章标签： ESL 统计学习精要机器学习统计学习

本文链接：https://blog.csdn.net/zejianli/article/details/72779192

版权

统计学习精要专栏收录该内容

13 篇文章 0 订阅

订阅专栏

统计学习精要 (Elements of Statistical Learning ) 习题 5.10

Derive an expression for $Var(\hat{f}_\lambda(x_0))$ and bias $(\hat{f}_\lambda(x_0))$ . Using the example (5.22), create a version of Figure 5.9 where the mean and several (pointwise) quantiles of $\hat{f}_\lambda(x)$ are shown.

思路：

这里仅给出前半部分推导。其实我一直也觉得每个点的bias和variance能够算出来很神奇。

假设原来数据集 $X$ 和对应的输出 $y$ ，而X的natural spline basis是 $N(X)$ ，简写为 $N$ ，对应的罚项为 $\Omega_N$ ，其参数为 $\lambda$ 。那么可以得到 $N$ 到 $y$ 的线性映射

θ ̂ λ = (N T N + λ Ω N) - 1 N T y

$\hat{\theta}_\lambda = (N^T N + \lambda \Omega_N)^{-1} N^T y$

记一个新的数据点 $x_0$ 的basis function为 $N(x_0)$ ，那么 $\hat{f}_\lambda(x_0)=N(x_0)\hat{\theta}_\lambda$ 。而bias为

B i a s (f ̂ λ (x 0)) = f (x 0) - E f ̂ λ (x 0) = f (x 0) - N (x 0) E θ ̂ λ = f (x 0) - N (x 0) (N T N + λ Ω N) - 1 N T f (x)

$Bias(\hat{f}_\lambda(x_0)) = f(x_0) - E\hat{f}_\lambda(x_0) = f(x_0) - N(x_0)E\hat{\theta}_\lambda = f(x_0) - N(x_0) (N^T N + \lambda \Omega_N)^{-1} N^T f(x)$
其中

Ey=f(x) $E y = f(x)$ .

而Variance为

V a r (f ̂ λ (x 0)) = V a r (N (x 0) θ ̂ λ) = N (x 0) V a r (θ ̂ λ) N (x 0) T = N (x 0) (N T N + λ Ω N) - 1 N T V a r (y) N (N T N + λ Ω N) - 1 N (x 0) T = N (x 0) (N T N + λ Ω N) - 1 N T N (N T N + λ Ω N) - 1 N (x 0) T σ 2

$\begin{aligned} Var(\hat{f}_\lambda(x_0)) &= Var( N(x_0) \hat{\theta}_\lambda ) \\ &= N(x_0) Var(\hat{\theta}_\lambda) N(x_0)^T \\ &= N(x_0) (N^T N + \lambda \Omega_N)^{-1} N^T Var(y) N (N^T N + \lambda \Omega_N)^{-1} N(x_0)^T \\ &= N(x_0) (N^T N + \lambda \Omega_N)^{-1} N^T N (N^T N + \lambda \Omega_N)^{-1} N(x_0)^T \sigma^2 \end{aligned}$

注意，这里的 $N(x_0)$ 是行向量。