关于样本协方差矩阵的简单推导

数据样本中心化：

1、对一维随机变量$x$，有n个观测样本 { x 1 , x 2 , ⋯   , x n } \{ x^1,x^2,\cdots,x^n\} {x1,x2,⋯,xn}，其样本均值(期望)可定义为：
$${\mu }_x=E\left(x\right)=\frac{1}{n}\sum _{i=0}^n{x}^i$$这样，中心化操作后的新样本为：$z^i=x^i-{\mu }_x$，并且${\sum }_i^n{z}^i=0$
2、对于m维随机变量（特征、属性），定义随机向量：
$$x\text{x}x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right],x\text{x}x\in R^m,这里x_i为第i个随机变量$$这里，再对m个随机变量的n个观测样本 { x i ∈ R m ∣ i = 1 , 2 , ⋯   , n } \{\pmb x^i\in R^m|i=1,2,\cdots,n\} {xxxi∈Rm∣i=1,2,⋯,n} 定义样本矩阵：
$$X=\left[\begin{array}{cccc}{x\text{x}x}^1& {x\text{x}x}^2& \cdots & {x\text{x}x}^n\end{array}\right]=\left[\begin{array}{ccccc}{x}_1^1& x_1^2& \cdots & x_1^n& \\ x_2^1& x_2^2& \cdots & x_2^n& \\ ⋮& ⋮& \ddots & ⋮& \\ x_m^1& x_m^2& \cdots & x_m^n& \end{array}\right],X\in R^{m\times n}$$
$x_j^i$表示第$i$个样本在第$j$个随机变量（特征、属性）上的取值。 这样，定义均值向量：
$${\mu }_x\text{μx}{\mu }_x=E(x\text{x}x)=\left[\begin{array}{c}E(x_1)\\ E(x_2)\\ ⋮\\ E(x_m)\end{array}\right]=\frac{1}{n}\left[\begin{array}{c}{\sum }_i^n{x}_1^i\\ {\sum }_i^n{x}_2^i\\ ⋮\\ {\sum }_i^n{x}_m^i\end{array}\right]=\left[\begin{array}{c}{\mu }_{x_1}\\ {\mu }_{x_2}\\ ⋮\\ {\mu }_{x_m}\end{array}\right]$$
中心化操作后新样本矩阵为：
$$Z=\left[\begin{array}{cccc}{z\text{z}z}^1& {z\text{z}z}^2& \cdots & {z\text{z}z}^n\end{array}\right]=\left[\begin{array}{ccccc}{x\text{x}x}^1-{\mu }_x\text{μx}{\mu }_x& {x\text{x}x}^2-{\mu }_x\text{μx}{\mu }_x& \cdots & {x\text{x}x}^n-{\mu }_x\text{μx}{\mu }_x& \end{array}\right]$$然后有${\sum }_i^n{z\text{z}z}^i=0\text{0}0$

样本协方差矩阵

1、对于两个一维随机变量$x$和$y$的协方差可定义为：
$$E[(x-{\mu }_x)(y-{\mu }_y)]=\frac{1}{n-1}\sum _i^n(x_i-{\mu }_x)(y_i-{\mu }_y)$$若样本已提前中心化，即新样本$z^i=x^i-{\mu }_x$，$u^i=x^i-{\mu }_y$并且${\sum }_i^n{z}^i=0$,${\sum }_i^n{u}^i=0$，带入上式得：
$$E[(x-{\mu }_x)(y-{\mu }_y)]=\frac{1}{n-1}\sum _i^n(x_i-{\mu }_x)(y_i-{\mu }_y)=\frac{1}{n-1}\sum _i^n{z}^i{u}^i$$
2、对于多维随机向量$x\text{x}x$的自协方差矩阵（通常机器学习里提到的样本协方差矩阵），它是根据向量外积定义的：
$$E[(x\text{x}x-{\mu }_x\text{μx}{\mu }_x)(x\text{x}x-{\mu }_x\text{μx}{\mu }_x{)}^T]=\frac{1}{n-1}\sum _i^n({x\text{x}x}^i-{\mu }_x\text{μx}{\mu }_x)({x\text{x}x}^i-{\mu }_x\text{μx}{\mu }_x{)}^T$$同理若样本已中心化，则
$$E[(x\text{x}x-{\mu }_x\text{μx}{\mu }_x)(x\text{x}x-{\mu }_x\text{μx}{\mu }_x{)}^T]=\frac{1}{n-1}\sum _i^n({x\text{x}x}^i-{\mu }_x\text{μx}{\mu }_x)({x\text{x}x}^i-{\mu }_x\text{μx}{\mu }_x{)}^T=\frac{1}{n-1}\sum _i^n{z\text{z}z}^i({z\text{z}z}^i{)}^T=\frac{1}{n-1}Z{Z}^T$$注：分块矩阵乘法可得
$$\sum _i^n{z\text{z}z}^i({z\text{z}z}^i{)}^T=\left[\begin{array}{cccc}{z\text{z}z}^1& {z\text{z}z}^2& \cdots & {z\text{z}z}^n\end{array}\right]\left[\begin{array}{c}({z\text{z}z}^1{)}^T\\ ({z\text{z}z}^2{)}^T\\ ⋮\\ ({z\text{z}z}^n{)}^T\end{array}\right]=Z{Z}^T$$