协方差以及协方差矩阵的整理及思考

协方差

协方差的概念要从方差的概念延伸来看。

首先，方差：

类比，协方差：

协方差的通俗理解

两个变量在变化过程中是同向还是反向？以及同向或反向变化的程度如何？

协方差的结果的意义

（1）cov > 0 , 正相关（你增我增）

（2）cov < 0 , 负相关（你增我减）

（3）cov = 0 , 统计上“相互独立”

协方差的一些性质

协方差 & 相关系数

即：

X和Y的相关系数 就是 用X和Y的协方差除以X的标准差和Y的标准差

值得注意的是：

协方差多了就是协方差矩阵

协方差只能处理二维的问题，那么对于n维的数据自然就需要计算多个协方差，自然就会想用矩阵来更好的表示这些数据。

协方差矩阵的定义:

举个例子，三维的数据集的协方差矩阵

协方差矩阵的性质

√ 对称矩阵

√ 对角线是每个维度的方差

协方差矩阵的注意事项

√ 协方差矩阵是你研究的样本数据的不同维度之间的协方差。比如，样本数据是全班50个人的语数外成绩。 那么维数就可以看做是3。

√ 做协方差时，比如50个人的语文成绩形成的向量与50个人的数学成绩形成的向量做协方差。（每一列计算均值，就是协方差计算公式中的均值）

√ 一定要注意，拿到样本数据矩阵后，先去确定每一列，每一行分别代表什么。不要弄反了。

【默认的每一列都是一个维度，每一行都是一个样本】