目录
一句话概括:期望反映了平均水平,方差反映了数据波动程度,协方差反映了两个随机变量间的相关性(有量纲),相关系数反映了两个随机变量间无量纲的相关性。
1、数学期望(均值)
对随机变量及其概率的加权平均:
这里说的期望也就是均值,在统计学中大多数情况下是以样本来代替整体,因此样本的均值计算公式为:
2、方差 D(X) 或 Var(X)
用来了解实际指标与平均值之间的偏差情况,即反映了数据取值的分散程度。
若 X 取值集中,则其方差较小,反之, X 越分散其方差越大。
D(X) 满足以下性质:
当 X 与 Y 满足独立同分布(iid)时, ,此时:
这里的 就是后面要说的 协方差。
另外 标准差(均方差)的计算公式为: ,与 X 具有相同的量纲。
在样本分析中,方差的计算公式为:
注意:这里除以的是1/(n-1)。
方差计算中为什么会出现除以 n 和除以 n-1 两种情况?:
除以 n计算的是总体方差
,除以 n-1计算的是样本方差
(也即总体方差的无偏估计)。但是现实中计算总体方差往往是不切实际的,而统计学的研究内容之一就是用样本推测总体,因此我们就常使用样本方差来代替总体情况。
为什么计算样本方差时是除以 n-1 呢?因为我们在计算样本方差前一定会计算样本均值 x
(换句话说,会对样本求和),这就导致样本的 n 项如果确定了 n-1 项的话,第 n 项就一定可以确定,即自由度是 n-1,所以每项出现的概率是 1/(n-1) ,因此要除以 n-1。用线性代数的角度来说,这 n 个量不是独立的,若将 n 个量看成向量的话是线性相关的,可以由 n-1 个线性无关的向量表示。
如果除以 n 代表是在整体数据上做计算,此时所有的量的出现概率都是 1/n,因此此时的方差
的计算是除以 n。但是这种情况大多是理想情况下的计算方式,而现实中绝大部分情况都是以样本估计总体,因此我们常见的方差计算公式就是除以 n-1 了。
3、协方差 Cov(X,Y)
协方差用以描述两个变量间的相关性。协方差是一个具有量纲的量。
若X 与 Y 相互独立,则 。
4、相关系数 ρ
相关系数也用以描述两个变量间的相关性,但与协方差不同的是,相关系数是一个没有量纲的量,公式如下。
另外,称
为X、Y的标准化。则有:
相关系数的性质:
。
的值越大说明线性相关程度就越大,
值较大时称 X 与 Y 的线性相关度好;
时说明 X 与 Y 不存在线性关系,但可能存在其他关系,如对于服从
上的随机变量X来说,若X1=sinX,X2=cosX,虽然
,但满足
。
的充要条件:存在常数a、b,使得
5、协方差矩阵
协方差矩阵用来描述多维随机变量不同维度间的协方差。
设n维随机变量 的二阶协方差为
则矩阵
称为n维随机变量 的协方差矩阵。由于
,因此协方差矩阵也是对称矩阵,方差构成了其对角线上的元素,协方差构成了非对角线上的元素。一般地,n 维随机变量的分布是不知道的,或者太复杂,以致数学上不易处理,因此在实际应用中协方差矩阵就显得十分重要了。协方差矩阵广泛用于统计学与机器学习等领域。