java 协方差矩阵_深入理解协方差矩阵

首先给出几个定义:

期望: 反应了函数f(x)在某个分布P(x)下的平均表现, 记为: $E_{x \sim P}[f(x)]=\int{p(x)f(x)dx}$

协方差: 反应两个变量之间线性相关的强度，记为$Cov(f(x),g(x))= E[(f(x)-E[f(x)])(g(x)-E(g(x)))]$

关于协方差的特性:

若协方差绝对值很大, 则变量值得变化很大, 且相距各自均值很远

若协方差为正, 则两变量x,y都倾向于取较大值, 若协方差为负, 则一个倾向于取较大值,另一个倾向取较小值

相关系数$\rho_{xy}$: 将每个变量归一化, 之衡量变量间的相关性, 不关注变量尺度大小, 公式如下:

$$\rho_{xy} = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

协方差

通俗地讲, 协方差可以理解为：两个变量在变化过程中是同方向变化？还是反方向变化？同向或反向程度如何？

你变大，同时我也变大，说明两个变量是同向变化的，这时协方差就是正的。

你变大，同时我变小，说明两个变量是反向变化的，这时协方差就是负的。

从数值来看，协方差的数值越大，两个变量同向程度也就越大。反之亦然。

协方差公式化简一下: $Cov(X,Y) = E[(X-\mu _x)(Y-\mu _y)]$

如果有X,Y两个变量，每个时刻的“X值与其均值之差”乘以“Y值与其均值之差”得到一个乘积,再对这每时刻的乘积求和并求出均值(其实是求“期望”，但就不引申太多新概念了，简单认为就是求均值了.

下面举个例子来说明吧：

比如有两个变量X,Y，观察t1-t7(7个时刻)他们的变化情况。

简单做了个图：分别用红点和绿点表示X、Y，横轴是时间。可以看到X，Y均围绕各自的均值运动，并且很明显是同向变化的。

这时，我们发现每一时刻$X-\mu _{x}$的值与$Y-\mu _{y}$的值的“正负号”一定相同(如下图：比如t1时刻，他们同为正，t2时刻他们同为负):

所以，像上图那样，当他们同向变化时，$X-\mu _{x}$与$Y-\mu _{y}$的乘积为正。这样，当你把t1-t7时刻$X-\mu _{x}$与$Y-\mu _{y}$的乘积加在一起，求平均后也就是正数了。