协方差矩阵

协方差矩阵总是看了忘，说到底还是没有记心里去，今天又复习了一便顺便做个笔记，希望能记住。
协方差是概率论里的东西，说到底也不是很难，为什么把他变换成矩阵就难了呢，想来是在概率论学的时候只是处理的标量问题，把他变换成向量之后一时没有对应过来。
什么是协方差
协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。（援引）在概率论中说是两个变量之间的关系，在机器学习中说的就是两个属性的关系，所以需要知道协方差矩阵中所说都是以两个属性，不是两个样本。
协方差怎么计算
方差矩阵计算：

其中k为一个属性，相当于计算某一个属性k的离散程度，关于下表ki则表示属性k的第i词观测值，表示属性k的多测观测的期望，d为d个属性，n为n次观测。
协方差矩阵计算：

这里表示任意两个属性m,k的协方差。
最终协方差矩阵的形式如下：

参考：
https://zhuanlan.zhihu.com/p/37609917
https://www.jianshu.com/p/0c1ee05969dd