协方差矩阵简单理解

  协方差矩阵在统计学和机器学习中随处可见，一般而言，可视作方差和协方差两部分组成，即方差构成了对角线上的元素，协方差构成了非对角线上的元素。本文旨在从几何角度介绍我们所熟知的协方差矩阵。

例如：

   {1e-9, 0, 0, 0, 0, 0, 
    0, 1e-3, 1e-9, 0, 0, 0, 
    0, 0, 1e6, 0, 0, 0,
    0, 0, 0, 1e6, 0, 0, 
    0, 0, 0, 0, 1e6, 0, 
    0, 0, 0, 0, 0, 1e-9}}

在统计学中，方差是用来度量单个随机变量的离散程度，而协方差则一般用来刻画两个随机变量的相似程度

方差的计算公式：

协方差的计算公式：

 

 根据方差的定义，给定 n 个随机变量  ，则这些随机变量的方差为

 

其中，为方便书写， xki 表示随机变量  中的第  个观测样本，  表示样本量，每个随机变量所对应的观测样本数量均为  。

对于这些随机变量，我们还可以根据协方差的定义，求出两两之间的协方差，即

 协方差矩阵为

 

其中，对角线上的元素为各个随机变量的方差，非对角线上的元素为两两随机变量之间的协方差，根据协方差的定义，我们可以认定：矩阵   为对称矩阵(symmetric matrix)，其大小为