数学知识

概念
协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。
这个解释摘自维基百科，看起来很是抽象，不好理解。其实简单来讲，协方差就是衡量两个变量相关性的变量。当协方差为正时，两个变量呈正相关关系（同增同减）；当协方差为负时，两个变量呈负相关关系（一增一减）。
而协方差矩阵，只是将所有变量的协方差关系用矩阵的形式表现出来而已。通过矩阵这一工具，可以更方便地进行数学运算。

数学定义
回想概率统计里面关于方差的数学定义：

Var(X)=∑ni=1(xi−x¯¯¯)(xi−x¯¯¯)n−1
协方差的数学定义异曲同工：

Cov(X,Y)=∑ni=1(xi−x¯¯¯)(yi−y¯¯¯)n−1
这里的 X，Y 表示两个变量空间。用机器学习的话讲，就是样本有 x 和 y 两种特征，而 X 就是包含所有样本的 x 特征的集合，Y 就是包含所有样本的 y 特征的集合。

协方差矩阵
两个变量的协方差矩阵
有了上面的数学定义后，我们可以来讨论协方差矩阵了。当然，协方差本身就能够处理二维问题，两个变量的协方差矩阵并没有实际意义，不过为了方便后面多维的推广，我们还是从二维开始。

用一个例子来解释会更加形象。

假设我们有 4 个样本，每个样本都有两个变量，也就是两个特征，它们表示如下：
x1=(1,2)，x2=(3,6)，x3=(4,2)，x4=(5,2)

用一个矩阵表示为&#x