Reduce-Rank Regression通俗解释及与其他降维方法的关系

对于两组数据$\mathbf{X}\in {\mathbb{R}}^{m\times p},\mathbf{Y}\in {\mathbb{R}}^{m\times q}$，常见的降维方法有

$$\begin{gathered} \mathrm{P}\mathrm{C}\mathrm{A}:\mathrm{Var}(\mathbf{X}\mathbf{w}) \\ \mathrm{R}\mathrm{R}\mathrm{R}:{\mathrm{Corr}}^2(\mathbf{X}\mathbf{w},\mathbf{Y}\mathbf{v})\cdot \mathrm{Var}(\mathbf{Y}\mathbf{v}) \\ \mathrm{P}\mathrm{L}\mathrm{S}:\mathrm{Var}(\mathbf{X}\mathbf{w})\cdot {\mathrm{Corr}}^2(\mathbf{X}\mathbf{w},\mathbf{Y}\mathbf{v})\cdot \mathrm{Var}(\mathbf{Y}\mathbf{v})={\mathrm{Cov}}^2(\mathbf{X}\mathbf{w},\mathbf{Y}\mathbf{v}) \\ \mathrm{C}\mathrm{C}\mathrm{A}:{\mathrm{Corr}}^2(\mathbf{X}\mathbf{w},\mathbf{Y}\mathbf{v}) \end{gathered}$$
上述都是通过减秩降维的办法，从$X,Y$中提取数据。不同之处在于提取注重的方向不同，但只要提取的维度够多，在理论上，这些算法效果和OLS没有什么差别

RRR: Reduce-Rank Regression的解释
OLS目标如下
$$L=\Vert \mathbf{Y}-\mathbf{X}\mathbf{B}{\Vert }^2$$
对系数矩阵$B$进行约束，希望它的秩越小越好，同时又不希望降低其拟合精度
$$L=\Vert \mathbf{Y}-\mathbf{X}{\hat{\mathbf{B}}}_{\mathrm{O}\mathrm{L}\mathrm{S}}{\Vert }^2+\Vert \mathbf{X}{\hat{\mathbf{B}}}_{\mathrm{O}\mathrm{L}\mathrm{S}}-\mathbf{X}\mathbf{B}{\Vert }^2$$

第一项是常数，可以忽略。优化第二项是一个经典的低秩逼近。网上资料以及文献上有一些关于RRR令人费解的定义，这里就略过了。化简上式得到
$$\Vert \mathbf{X}{\hat{\mathbf{B}}}_{\mathrm{O}\mathrm{L}\mathrm{S}}-\mathbf{X}\mathbf{B}{\Vert }^2=\Vert {\hat{\mathbf{Y}}}_{\mathrm{O}\mathrm{L}\mathrm{S}}-{\hat{\mathbf{Y}}}_{\mathbf{R}\mathbf{R}\mathbf{R}}{\Vert }^2$$
令${\hat{\mathbf{Y}}}_{\mathrm{O}\mathrm{L}\mathrm{S}}=\mathbf{U}\Sigma {\mathbf{V}}^T$
假定秩限制为r, 根据Eckart-young定理得到 ${\hat{\mathbf{Y}}}_{\mathbf{R}\mathbf{R}\mathbf{R}}={\hat{\mathbf{Y}}}_{\mathrm{O}\mathrm{L}\mathrm{S}}{\mathbf{V}}_r{\mathbf{V}}_r^T=\mathbf{X}{\hat{\mathbf{B}}}_{\mathrm{O}\mathrm{L}\mathrm{S}}{\mathbf{V}}_r{\mathbf{V}}_r^T\Rightarrow$
$${\hat{\mathbf{B}}}_{\mathrm{R}\mathrm{R}\mathrm{R}}={\hat{\mathbf{B}}}_{\mathrm{O}\mathrm{L}\mathrm{S}}{\mathbf{V}}_r{\mathbf{V}}_r^{\top }$$

从直觉上，RRR SVD分解${\hat{\mathbf{B}}}_{\mathrm{O}\mathrm{L}\mathrm{S}}$矩阵，前面几个特征向量代表着和X与Y最有相关的方向。从这一点看RRR和CCA异曲同工，不知道结果是否是一样的，没有验证过。

PS: 冲着1024，为赋新诗强说愁

参考

https://stats.stackexchange.com/questions/152517/what-is-reduced-rank-regression-all-about