统计学习精要 (Elements of Statistical Learning ) 习题 3.21

最新推荐文章于 2023-08-19 20:06:28 发布

秋海棠的歌声

最新推荐文章于 2023-08-19 20:06:28 发布

阅读量743

点赞数

分类专栏：统计学习精要文章标签：机器学习统计学习精要 ESL 答案统计学

本文链接：https://blog.csdn.net/zejianli/article/details/70389329

版权

本文详细解答了《统计学习精要》(Elements of Statistical Learning)中的习题3.21，涉及到降秩回归问题(3.68)。通过变换Y并利用canonical vectors u∗，证明了解决方案(3.69)。文中还引入了一个关于矩阵最小化 Frobenius 范数的定理，并应用该定理推导出B̂_rr(m) = B̂_UmU^(-1)_m。

摘要由CSDN通过智能技术生成

统计学习精要 (Elements of Statistical Learning ) 习题 3.21

3.21 Show that the solution to the reduced-rank regression problem (3.68), with $\Sigma$ estimated by $Y^TY/N$ , is given by (3.69).
Hint: Transform $Y$ to $Y^∗ = Y \Sigma^{-1}$ , and solved in terms of the canonical vectors $u^*$ . Show that $U_m=\Sigma^{-\frac{1}{2}} U^∗_m$ ,and a generalized inverse is $U_m^-=U^{∗T}_M \Sigma^{\frac{1}{2}}$ .

思路：

(3.68) 是

B ̂ r r (m) = arg r a n k (B) = m min \sum i = 1 N (y i - B T x i) T Σ - 1 (y i - B T x i) .

$\hat{B}^{rr}(m) = \underset{rank(B)=m}\arg\min \sum_{i=1}^N (y_i − B^T x_i)^T \Sigma^{−1}(y_i − B^T x_i).$
其中

Σ $\Sigma$ 是拟合误差的协方差矩阵。这个问题表示线性拟合用的矩阵B的秩是m的限制下，最小化标准化的拟合误差。此处如果用

YTY/N $Y^T Y / N$ 替换

Σ $\Sigma$ ，那么其解就是

B ̂ r r (m) = B ̂ U m U - m

$\hat{B}^{rr}(m) = \hat{B} U_m U_m^-$

在下文，我用秩r替换秩m，N看作是新的矩阵，仅仅用的符号改变而已。证明这个需要准备一个小的定理。

定理一：S是一个 $m \times n$ 的矩阵且秩为 $m$ 。若求同样 $m \times n$ 的矩阵 $P$ 但秩为 $r (\leq m)$ ，使得 $tr[(S-P)^T (S-P)]$ 最小化，那么 $P = S N N^T$ ，其中 $N$ 大小是 $n \times r$ 且其列向量是