7.4.10 白化 whitening

7.4.10 白化 whitening

回顾PCA，$Y=U^{T}A$ 即对数据矩阵 $A$ 进行旋转变换 $U^T$ 得到主成分 $Y$ ，矩阵 $Y$ 的每列数据为每个学生新成绩向量。所以 PCA 算法本质上是对数据点云进行旋转变换，变换后数据矩阵的协方差矩阵为对角阵 ${\Sigma }^2$ ，即各个主成分无相关性。因为 $A{A}^T=U{\Sigma }^2{U}^T$ 即 $U$ 是协方差矩阵 $A{A}^T$ 的特征向量组，${\Sigma }^2$ 是特征值对角阵。

变换后数据矩阵 $Y$ 线性无关，每个分量的方差为 ${\sigma }_i^2$ 。我们还可以进一步变换 $Z={\Sigma }^{-1}Y={\Sigma }^{-1}{U}^{T}A$，使其每个分量的方差为 $1$ 。
$$\begin{gathered} Z^{T}Z=Y^T{\Sigma }^{-T}{\Sigma }^{-1}Y=Y^T{\Sigma }^{-T}{\Sigma }^{-1}Y \\ =A^{T}U{\Sigma }^{-T}{\Sigma }^{-1}{U}^{T}A \\ =(V{\Sigma }^T{U}^T)U{\Sigma }^{-T}{\Sigma }^{-1}{U}^T(U\Sigma V^T) \\ =E \end{gathered}$$

数据矩阵 $Z$ 的协方差矩阵为单位阵 $E$ ，即每个分量均值为 $0$，方差为 $1$，每个分量从均值和方差角度看都是一样的，这时称其为白化数据矩阵。由于白化 $Z={\Sigma }^{-1}Y$，需要除以奇异值，当奇异值趋近 $0$ 时，白化分量会趋于无穷大，造成数值不稳定，而且奇异值趋近 $0$ 的分量基本都是噪声引起的，故一般只对奇异值较大的主成分进行白化。

白化数据矩阵有个重要性质，即任意正交矩阵 $Q$ ，变换数据矩阵 $X=QZ$ ，有 $X^{T}X=Z^T{Q}^{T}QZ=Z^{T}EZ=E$ ，数据矩阵 $X$ 也是白化数据矩阵，即白化后的数据矩阵任意旋转操作后还是白化数据矩阵，在旋转操作下具有不变性。当正交矩阵取 $U$ 时，此时 $Z=U{\Sigma }^{-1}{U}^{T}A=WA$ 称为 ZCA 白化。白化变换矩阵 $W=U{\Sigma }^{-1}{U}^T$ 有个重要性质
$$WWA{A}^T=(U{\Sigma }^{-1}{U}^{T}U{\Sigma }^{-1}{U}^T)(U{\Sigma }^2{U}^T)=E$$

即 $WW$ 是 $A{A}^T$ 的逆矩阵，$W$ 是 $A{A}^T$ 的逆矩阵的平方根矩阵。