统计学习精要 (Elements of Statistical Learning ) 习题 3.20

统计学习精要 (Elements of Statistical Learning ) 习题 3.20

问题：Consider the canonical-correlation problem (3.67). Show that the leading pair of canonical variates $u_1$ and $v_1$ solve the problem

$$\underset{u^T(Y^T Y )u = 1\\ v^T (X^T X)v =1 }\max u^T(Y^T X )v,$$
a generalized SVD problem. Show that the solution is given by $u_1 = (Y^T Y)^{-\frac{1}{2}} u_1^*$, and $v_1 = (X^T X)^{-\frac{1}{2}} v_1^*$, where $u_1^*$ and $v_1^*$ are the leading left and right singluar vectors in
$$(Y^T Y)^{-\frac{1}{2}} (Y^T X) (X^T X)^{-\frac{1}{2}} = U^*D^*V^{*T}. \quad(3.87)$$
Show that the entire sequence $u_m,v_m,m=1,\ldots,min(K,p)$ is also given by (3.87).

思路：
The problem (3.67) 在 84 页，问题是找到uncorrelated的 $X v_m$ 和 $Y u_m$ 使得下式被逐步最大化：

$$Corr^2(Y u_m,X v_m).$$

假设X和Y已经中心化了（centralized）我们可以得到

$$\begin{aligned} \max Corr^2(Y u_1,X v_1) = \max \frac{ (u_1^T Y^T X v_1)^2 }{ (u_1^T Y^T Y u_1)(v_1^T X^T X v_1)} \end{aligned}$$

如果替换$u_1 = a u_1$，$v_1 = b v_1$，$a,b$是实数，上式不变。因此我们可以固定$u_1^T Y^T Y u_1=1$及$v_1^T X^T X v_1=1$，且正负号无关，原问题变成

$$\underset{u_1^T(Y^T Y )u_1 = 1\\ v_1^T (X^T X)v_1 =1 }\max u_1^T(Y^T X )v_1,$$

再定义$u_1^* = (Y^T Y)^{\frac{1}{2}} u_1$ 和 $v_1^* = (X^T X)^{\frac{1}{2}} v_1$，代入上式

$$\underset{u_1^{*T}u_1^* = 1\\ v_1^{*T}v_1^* =1 }\max u_1^{*T} (Y^T Y)^{-\frac{1}{2}} (Y^T X ) (X^T X)^{-\frac{1}{2}} v_1^*,$$

因此，$u_1^{*}$ 和 $v_1^*$ 是 $(Y^T Y)^{-\frac{1}{2}} (Y^T X ) (X^T X)^{-\frac{1}{2}}$ 的最大的奇异值对应的左右奇异向量，且$u_m^{*}$ $m=1,\ldots,min(K,p)$相互的点积都是0。而$v_m$对$m=1,\ldots,min(K,p)$同样。因而对于不同的$i,j$， $u_i^T Y^T Y u_j = 0$ 且 $v_i^T X^T X v_j = 0$，即$Y u_i$ 和 $Y u_j$ 不相关（uncorrelated），而$X v_i$ 与 $X v_j$ 同样。

因此，$u_m$ 与 $v_m$ $m=1,\ldots,min(K,p)$ 都可以用同样的奇异值分解方法得到。