协方差矩阵

1. 方差和协方差的定义

在统计学中， 方差是用来度量 单个随机变量的 离散程度，而协方差则一般用来刻画 两个随机变量的 相似程度，其中， 方差的计算公式为

其中，n表示样本量，符号 表示观测样本的均值

 

在此基础上，协方差的计算公式被定义为

在公式中，符号 , 分别表示两个随机变量所对应的观测样本均值，据此，我们发现：方差  可视作随机变量 x 关于其自身的协方差 .

2. 从方差/协方差到协方差矩阵

根据方差的定义，给定d个随机变量 ,k=1,2,...,d ，则这些随机变量的方差为

其中，为方便书写，表示随机变量 中的第个观测样本，表示样本量，每个随机变量所对应的观测样本数量均为。

对于这些随机变量，我们还可以根据协方差的定义，求出两两之间的协方差，即

因此，协方差矩阵为

其中，对角线上的元素为各个随机变量的方差，非对角线上的元素为两两随机变量之间的协方差，根据协方差的定义，我们可以认定：矩阵 Σ 为对称矩阵(symmetric matrix)，其大小为 d × d。