矩阵线性变换后 协方差矩阵的关系

问题描述

以向量横向排列（一行一个向量）举例，
对于各个向量均值为0的矩阵$X$来说，其协方差矩阵标记为$\Sigma$，进行某一变换$W$，结果是$\hat{X}=XW$，变换后的协方差矩阵标记为$\hat{\Sigma }$，问$\Sigma$和$\hat{\Sigma }$的关系？

解答/记忆方法

对于均值为0一维的数据来说，对每一个数字都乘以系数$a$，那么其方差会变为原来的$a^2$倍。
正式一点的表达是均值0的一维分布$Y$的方差$\mu$，与变换后的分布$\hat{Y}=aY$的方差$\hat{\mu }$的关系是$\hat{\mu }=a^2\mu$。

推广到多维，多维数据的变换用了$W$来表示，但是方差也是$W$的“平方倍”。但是线代中左乘不等于右乘，线代中的结论是$\hat{\Sigma }=W^T\Sigma W$。
其实是非常相似的，假设左乘和右乘等价，那么也是“$\hat{\Sigma }=W^2\Sigma$”（不存在这个写法，理解为主）。
另一种从矩阵单个元素的理解方法，$W^{T}W$运算一下，其实就是每个维度都分配一个平方值，中间加入$\Sigma$矩阵，相当于给矩阵中的每个维度的方差都分配了一个平方值，这与一维的思想是一致的。

数学证明

显然上面的结论只是为了方便记忆。数学推一下其实也挺简单：
对于各个向量均值0的矩阵$X$，其协方差矩阵$\Sigma =\frac{1}{m}{X}^{T}X$，$X$变换后变成$XW$，其协方差矩阵就是$\hat{\Sigma }=\frac{1}{m}(XW{)}^{T}XW$，问他们俩的关系?稍微看下就知道$$\hat{\Sigma }=\frac{1}{m}(XW{)}^{T}XW=\frac{1}{m}{W}^T{X}^{T}XW$$
$$\Sigma =\frac{1}{m}{X}^{T}X$$
所以$$\hat{\Sigma }=W^T\Sigma W$$

一般应用

可能你也发现了，上述结论成立的前提，都是均值为0，所以对矩阵进行变换时，不会直接对$X$，而是对减掉了各个分量的平均值后的$X$，这样才会有以上性质。