协方差矩阵计算方法

1. 协方差矩阵

$X,Y$是两个随机变量，$X,Y$的协方差$Cov(X,Y)$定义为：
$$cov(X,Y)=E[(X-{\mu }_x)(Y-{\mu }_y)]$$
其中：
$$E(X)={\mu }_x，E(Y)={\mu }_y$$

2.协方差矩阵定义

矩阵中的数据按行排列和按列排列求出的协方差矩阵是不同的，这里默认数据是按行排列。即每一行是一个observation（样本），那么每一列就是一个随机变量（特征）。
$$X_{m\times n}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]=\left[\begin{array}{cccc}{c}_1& c_2& \cdots & c_n\end{array}\right]$$
协方差矩阵：
$$covMatrix=\frac{1}{m-1}\left[\begin{array}{cccc}cov(c_1,c_1)& cov(c_1,c_2)& \cdots & cov(c_1,c_n)\\ cov(c_2,c_1)& cov(c_2,c_2)& \cdots & cov(c_2,c_n)\\ ⋮& ⋮& \ddots & ⋮\\ cov(c_n,c_1)& cov(c_n,c_2)& \cdots & cov(c_n,c_n)\end{array}\right]$$
协方差矩阵的维度等于随机变量的个数，即每一个observation的维度。在某些场合前边也会出现$\frac{1}{m}$，而不是$\frac{1}{m-1}$。

3.求解协方差矩阵的步骤

举个例子，矩阵X按行排列：
$$X=\left[\begin{array}{ccc}1& 2& 3\\ 3& 1& 1\end{array}\right]=\left[\begin{array}{ccc}{c}_1& c_2& c_3\end{array}\right]$$

1.求每个维度的平均值
$$\bar{c}=\left[\begin{array}{ccc}2& 1.5& 2\end{array}\right]=\left[\begin{array}{ccc}\overline{c_1}& \overline{c_2}& \overline{c_3}\end{array}\right]$$
2.将X的每一列减去平均值
$$X=\left[\begin{array}{ccc}-1& 0.5& 1\\ 1& -0.5& -1\end{array}\right]$$
其中：
$$c_i=c_i-\overline{c_i}$$
3.计算协方差矩阵
$$cov=\frac{1}{m-1}{X}^{T}X=\frac{1}{2-1}\left[\begin{array}{ccc}2& -1& -2\\ -1& 0.5& 1\\ -2& 1& 2\end{array}\right]$$