统计学习基础练习（Exercises for Overview of Supervised Learning）2

Exercises for Overview of Supervised Learning

Ex.2.1 假设$K$-类，每一类都有一个相关联的目标$t_k$，$t_k$是一个第$k$个位置等于1，所有位置都是0的向量。如果$\hat y$中元素和为1，证明对$\hat y$中最大元素进行分类等价于计算最接近的目标$\min_k\|t_k-\hat y\|$

证明：假设$\hat y=(y_1,y_2,\dots,y_K)$，$\min_k\|t_k-\hat y\|$等价于$\min_k\|t_k-\hat y\|_2^2$。
不防假设$\hat y$属于第1类 ，也就是说$y_1\ge y_i \forall i\in \{1,2,\dots,K\}$
$\Longleftrightarrow -2y_1+1\le-2 y_i+1 \forall i\in \{1,2,\dots,K\} \\ \Longleftrightarrow \sum_t y_t -2y_1+1\le \sum_t y_t -2y_i+1\\ \Longleftrightarrow\|t_1-\hat y\|\le\|t_i-\hat y\| \forall i\in \{1,2,\dots,K\}$

Ex.2.2 如何计算Figure 2.5中模拟示例的Bayes决策边界
参考网友
Ex.2.3 推导等式：均匀分布在$p$维单位球内的$N$个点，其中到圆心距离最近点的距离的中位数是

$$d(p,N)=(1-\frac 12 ^{\frac1N})^\frac 1p$$

首先，我们解释一下距离的中位数。假设距离的中位数是$d$,也就是说距离比$d$大的和比$d$小的概率一样。
我们知道 $\mathbb R^p$中半径为$r$的球体积是$\omega_pr^p$，其中

$$\omega_p=\frac {\pi^{\frac p2}}{\frac p2!}$$
因为单位球中每一点都是等概率的，那么任取一点，它到原点的距离小于 $x$的概率是半径为$x$球的体积除以单位球的体积，因此我们可以的得到CDF(累计密度函数,Cumulative Distribution Function):
$$F(x)=x^p,\ \ 0\le x\le 1.$$
那么相应的导数就是概率密度函数(PDF probability density function)：
$$f(x)=px^{p-1}$$
假设我们随机选取 $N$个点$\{y_1,y_2,\dots,y_N\}$，如果其中最小的一个点等于 $y$，也就是说其中有$N-1$个点不小于 $y$，其概率是$N(1-F(y))^{N-1}$，在此基础上，最小一个点是 $y$的概率密度函数是
$$g(y)=N(1-y^p)^{N-1}py^{p-1}$$
对此概率密度函数（PDF）进行积分就可以得到累计密度函数（CDF）
$$G(y)=1-(1-y^p)^N$$
取 $G(y)=0.5$就可以得到随机取 $N$个点，到圆心最近点距离中位数了。

Ex2.4讨论的边沿影响问题不是有界域均匀抽样独有的。考虑取自球形多项分布$X\sim N(0,I_p)$的输入。从任意样本点到原点的平方距离服从具有均值 $p$的$\chi_p^2$分布。考虑取自该分布的预测点 $x_0$。并设， $a=\frac{x_0}{\|x_0\|}$是一个相关的单位向量 $z_i=a^Tx_i$为每个训练点在该方向上的投影。
（a）证明$z_i$分布在$N(0,1)$上，具有到原点的期望平方距离$1$，而目标点具有到原点的期望平方距离$p$。
(b）对于$p=10$，证明从训练数据的中心到检验点的期望距离是$3.1$倍标准差，而所有训练点沿方向a具有期望距离$1$。从而，大部分预测点位于训练集的边沿。

Ex2.5(a)推导等式(2.27)

$$\begin{align*} EPE(x_0) &=E_{y_0|x_0}E(y_0-\hat y_0)^2 \\ &=Var(y_0|x_0)+E[\hat y_0-E\hat y_0]^2+[E\hat y_0-x_0^T-x_0^T\beta]\\ &=Var(y_0|x_0)+Var(\hat y_0)+Bias^2(\hat y_0)\\ &=\sigma^2+Ex_0^T(X^TX)^{-1}x_0\sigma^2+0^2 \end{align*}$$

(b)推导等式(2.28)

Ex0∼Ex0xT0Cov(X)−1x0σ2N+σ2=trace[Cov(X)−1Cov(x0)]σ2N+σ2=σ2pN+σ2 E x 0 ∼ E x 0 x 0 T C o v ( X ) − 1 x 0 σ 2 N + σ 2 = t r a c e [ C o v ( X ) − 1 C o v ( x 0 ) ] σ 2 N + σ 2 = σ 2 p N + σ 2

$$\begin{align*} E_{x_0}&\sim E_{x_0}x_0^TCov(X)^{-1}x_0 \frac {\sigma^2}N+{\sigma^2}\\ &=trace[Cov(X)^{-1}Cov(x_0)]\frac {\sigma^2}N+{\sigma^2}\\ &={\sigma^2}\frac pN +{\sigma^2} \end{align*}$$

证明：对于(a)，这个是一个经典的分解，
$expected loss =bias^2+variance +noise$，网上很多，具体证明看网友的吧
对于(b)

Ex. 2.6

Ex. 2.7

Ex. 2.8

Ex. 2.9

end