协方差 、Gram矩阵和信息熵

协方差

在机器学习中经常需要计算协方差矩阵，本科时没学过这个概念，一直对此非常头疼。现在试图通过实例的计算、图形化的表示来梳理一下什么是协方差矩阵。

A numerical example

问题：

有一组数据（如下），分别为二维向量，这四个数据对应的协方差矩阵是多少？

解答：

由于数据是二维的，所以协方差矩阵是一个2*2的矩阵，矩阵的每个元素为：

元素(i,j) = (第 i 维所有元素 - 第 i 维的均值) * (第 j 维所有元素 - 第 j 维的均值) 。

其中「*」代表向量内积符号，即两个向量求内积，对应元素相乘之后再累加。

我们首先列出第一维：

D1: (1,3,4,5) 均值：3.25
D2: (2,6,2,2) 均值：3

下面计算协方差矩阵第(1,2)个元素：

元素(1,2)=(1-3.25,3-3.25,4-3.25,5-3.25)*(2-3,6-3,2-3,2-3)=-1

类似的，我们可以把2*2个元素都计算出来：

这个题目的最终结果就是：

<