python 协方差矩阵_numpy中的方差、协方差、相关系数

一、np.var

数学上学过方差:

np.var()实际上是均方差,均方差的意义就是将方差进行了平均化,从而使得此值不会随着数据的增多而发生变化。

np.std()是标准差,np.std()的平方等于np.var(),标准差在高斯分布中用

表示。

不论是方差还是标准差,它们衡量的都是二阶中心矩。为什么是二阶而不是一阶?这是一个问题。

函数原型:numpy.var(a, axis=None, dtype=None, out=None, ddof=0, keepdims=)

计算张量a在axis轴上的方差

a:一个ndarray,不一定是一维

axis:可取值为None,int,int元组。当取值为None时,会把张量a展平成一维数组;当指定一个或多个int时,沿着axis指定的轴计算方差,其它轴的形状会保留。

dtype:在计算方差的时候使用的数据类型,如果a是int类型的张量,计算方差时也会使用float32类型

out:放置计算结果的数组,主要用于节省空间,out的维度必须保证正确

ddof:int,ddof是“Delta Degrees of Freedom”,表示自由度的个数,在计算方差时,分子是各个值和均值的差的平方之和,分母为(N-ddof)

keepdims:是否保留a的形状

返回值variance是一个ndarray

import numpy as npa = np.random.randint(0, 10, (2, 3))print(a)print(np.var(a))print(np.var(a, axis=0))print(np.var(a, axis=1))print(np.var(a, keepdims=True))print(np.var(a, axis=0, keepdims=True))print(np.var(a, axis=(0, 1)))

输出为

[[2 1 5] [7 3 0]]5.666666666666667[6.25 1. 6.25][2.88888889 8.22222222][[5.66666667]][[6.25 1. 6.25]]5.666666666666667

关于ddof

import numpy as npa = np.random.randint(0, 10, 4)print(np.var(a), "=",np.sum((a - np.mean(a)) ** 2) / len(a))ddof = 1print(np.var(a, ddof=ddof), "=",np.sum((a - np.mean(a)) ** 2) / (len(a) - ddof))二、np.cov

np.cov用来计算协方差

函数原型:numpy.cov(m, y=None, rowvar=True, bias=False, ddof=None, fweights=None, aweights=None)

首先理清两个概念:

variable:变量,也就是feature

observation:观测,也就是样本

参数介绍:

m是一个一维向量或者二维矩阵,当m为一个向量时,它相当于一个1行n列的矩阵,最终输出的协方差矩阵为

的矩阵(也就是一个标量)。当m是一个二维矩阵时,它的每一行表示一个feature(numpy官方文档称之为variable),每一列表示一个样本(observation)。我们想要知道的是feature之间的相关性。假设m是n行k列的二维矩阵,那么输出为

的协方差矩阵。

y和m一样,可以是一维向量,也可以是二维矩阵。y相当于给m添加了若干个新行,也就是m=np.hstack(m,y)。y的列数必须和m一致,否则没法把m和y的行拼起来。实际上,这个参数是可有可无的,因为单单用m矩阵就足够了。举例来说,m是一个n行k列的矩阵,y是一个p行k列的矩阵,那么把m和y拼起来得到一个(n+p)行k列的矩阵。在这个矩阵上计算协方差,得到一个(n+p)阶的方阵。

rowvar是一个布尔值,用来描述矩阵m和矩阵y的信息。默认情况下,m矩阵的一行对应一个feature,一列对应一个样本,每个feature就被称为variable,rowvar的意思是每行表示一个feature。此值默认为True。

bias,在计算协方差时,如果bias=True,分母为N(N表示样本数,也就是观测个数),表示有偏估计;默认情况下,此值为False,分母为N-1表示有偏估计。这个问题略微复杂。

ddof:表示自由度,当此值不为None,分母为N-ddof。当此值不为None时,bias参数失效。

fweights:一个一维整型数组,表示每个观测出现的次数。提供此参数的目的是,防止m矩阵过大。

aweights:一个一维浮点数组,表示每个观测的权重。权重大表明这个观测准确,权重小表明这个权重不太重要。

返回值:out一个方阵,它的维数等于feature的个数。

数学上的协方差的定义:

此式中,X和Y皆为向量。方差是特殊的协方差D(X)=cov(X,X)。协方差表示的是两个向量的关联程度,其实就相当于:把两个向量中的变量进行中心化(减去均值),然后计算剩余向量的内积。

np.cov和数学上的协方差并不一样,在无偏估计情况下:

;在有偏估计情况下,

。其中n表示X向量和Y向量的维度。

例子:方差是特殊地协方差

a = [1, 2, 3, 4, 6] print(np.cov(a), np.var(a) * len(a) / (len(a) - 1))

例子:两个变量的协方差

import numpy as npa, b = np.random.rand(2, 4)print(np.cov(a, b))print(np.cov([a, b]))print(np.dot(a - np.mean(a), b - np.mean(b)) / (len(a) - 1))

例子:理解m和y的关系

import numpy as npa = [[1, 2], [4, 7]]b = [[7, 16], [17, 8]]c = np.cov(a, b)print(c)print(np.vstack((a,b)))print(np.cov(np.vstack((a, b))))三、np.correlate

数学上相关系数的定义:

函数原型:numpy.corrcoef(x, y=None, rowvar=True, bias=, ddof=)

理解了np.cov()函数之后,很容易理解np.correlate(),二者参数几乎一模一样。

np.cov()描述的是两个向量协同变化的程度,它的取值可能非常大,也可能非常小,这就导致没法直观地衡量二者协同变化的程度。相关系数实际上是正则化的协方差,n个变量的相关系数形成一个n维方阵。

参数介绍:

x:一个一维向量或者二维矩阵,每行表示一个feature,每列表示一个样本

y:列数和x一致,用来和x进行拼接,相当于添加了|y|个feature。

rowvar:布尔值,默认为True,表示每行表示一个feature,也就是每行表示一个variable。

bias:已废弃,不要使用它。

ddof:已废弃,不要使用它。

返回值:R一个n维方阵,n的个数和变量的个数相同。

参考资料

PCA实现

已标记关键词 清除标记
表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 1024 设计师:白松林 返回首页