协方差矩阵及其计算方法

观测矩阵

例：如果观测$N$个人的体重$w$和身高$h$，这样会形成$R^2$的样本空间，观测向量$X_j$（$X_j\subseteq R^2$）表示第$j$个人体重和身高，观测矩阵可以表示为：

$\left[\begin{array}{cccc}{w}_1& w_1& \dots & w_N\\ h_1& h_2& \dots & h_N\end{array}\right]$

其中：
$X_1=\left[\begin{array}{c}{w}_1\\ h_1\end{array}\right]$，$X_2=\left[\begin{array}{c}{w}_2\\ h_2\end{array}\right]$，$X_N=\left[\begin{array}{c}{w}_N\\ h_N\end{array}\right]$，这些为观测向量。

均值和协方差

假设$[X_1{X}_2\dots X_N]$是$p\times N$的观测矩阵，观测向量$X_1$、$X_2$和$X_N$的样本均值$M$为：

$M=\frac{1}{N}(X_1+X_2+\cdots +X_N)$

如果将原观测测向量画成散列图（scatter），那么样本均值$M$就是散列图中数据的中心。

令${\hat{X}}_k=X_k-M$，$k=1,2,\dots ,N$

则构成新的矩阵$B=[{\hat{X}}_1{\hat{X}}_2\dots {\hat{X}}_N]$，此矩阵$B$称为平均偏差形式，且具有零样本均值。矩阵$B$的散列图的中心在坐标原点。

协方差矩阵（covariance matrix）：协方差矩阵是一个$p\times p$的矩阵$S$，且满足：$S=\frac{1}{N-1}B{B}^T$

由于任何具有$B{B}^T$的矩阵都是半正定的（如果$B$是$m\times n$的矩阵，那么$B{B}^T$是半正定的），所以$S$也是半正定的。

注：协方差矩阵也常记作$\Sigma$

例：从一个总体中随机抽取4个样本做3次测量，每个样本的观测向量为：
$X_1=\left[\begin{array}{c}1\\ 2\\ 1\end{array}\right]$，$X_2=\left[\begin{array}{c}4\\ 2\\ 13\end{array}\right]$，$X_3=\left[\begin{array}{c}7\\ 8\\ 1\end{array}\right]$，$X_4=\left[\begin{array}{c}8\\ 4\\ 5\end{array}\right]$，
求样本均值及协方差矩阵。

解：

样本均值：

$M=\frac{1}{4}(\left[\begin{array}{c}1\\ 2\\ 1\end{array}\right]+\left[\begin{array}{c}4\\ 2\\ 13\end{array}\right]+\left[\begin{array}{c}7\\ 8\\ 1\end{array}\right]+\left[\begin{array}{c}8\\ 4\\ 5\end{array}\right])=\frac{1}{4}\left[\begin{array}{c}20\\ 16\\ 20\end{array}\right]=\left[\begin{array}{c}5\\ 4\\ 5\end{array}\right]$

从$X_1$、$X_2$和$X_N$中减去样本均值$M$得：

$\widehat{X_1}=\left[\begin{array}{c}-4\\ -2\\ -4\end{array}\right]$，$\widehat{X_2}=\left[\begin{array}{c}-1\\ -2\\ 8\end{array}\right]$，$\widehat{X_3}=\left[\begin{array}{c}2\\ 4\\ -4\end{array}\right]$，$\widehat{X_4}=\left[\begin{array}{c}3\\ 0\\ 0\end{array}\right]$

所以得到$B$矩阵：

$B=\left[\begin{array}{cccc}-4& -1& 2& 3\\ -2& -2& 4& 0\\ -4& 8& -4& 0\end{array}\right]$

矩阵$B$为原样本经过居中处理后的样本。

所以，样本的协方差矩阵$S$为：

$S=\frac{1}{N-1}B{B}^T=\frac{1}{4-1}\left[\begin{array}{cccc}-4& -1& 2& 3\\ -2& -2& 4& 0\\ -4& 8& -4& 0\end{array}\right]\left[\begin{array}{ccc}-4& -2& -4\\ -1& -2& 8\\ 2& 4& -4\\ 3& 0& 0\end{array}\right]=\frac{1}{3}\left[\begin{array}{ccc}30& 18& 0\\ 18& 24& -24\\ 0& -24& 96\end{array}\right]=\left[\begin{array}{ccc}10& 6& 0\\ 6& 8& -8\\ 0& -8& 32\end{array}\right]$

用$x_1,x_2,\dots ,x_p$表示$X$的坐标，例如$x_1$是$X_1,X_2,\dots ,X_N$集合中变化的第一个坐标的数值。对$j=1,2,\dots ,p$（本例中$p=3$，$N=4$），矩阵$S$的对角线元素$s_{jj}$就是$x_j$的方差，$x_j$的方差用于度量$x_j$值的分散性。
所以本例中，$x_1$方差为10，$x_2$方差为8，$x_3$方差为32。
$x_3$方差为32，大于$x_1$方差10，这表明对应向量中第三个元素的集合包含比第一个元素的集合更大的取值范围。

数据的总方差是矩阵$S$对角线上方差的和，也就是$S$的迹（trace）$tr(S)$。

矩阵$S$中的元素$s_{ij}(i\ne j)$称为$x_i$和$x_j$的协方差。

协方差就是不同维度的数据（减去平均值后，即居中处理后）的点积，再乘以$\frac{1}{N-1}$。
$x_1$、$x_2$和$x_3$在本例中是4个样本的三个维度，即$x_1=[-4-123]$，$x_2=[-2-240]$，$x_3=[-48-40]$。

本例中，$x_1$和$x_3$之间的协方差是0，这是因为$s_{13}=0$，这种情况在统计学上被称为：$x_1$和$x_3$是无关的。

如果大部分或者所有变量$x_1$、$x_2$…、$x_p$是无关的，即当$X_1,X_2,\dots ,X_N$的协方差矩阵是对角阵或几乎是对角阵时，$X_1,X_2,\dots ,X_N$中多变量的数据的分析可以简化。