数学期望
数学期望用来反映平均情况。
定义
设离散型随机变量X的分布律为 P(X=xk)=pk,k=1,2,3... ,若级数 ∑+∞k=1xkpk 是收敛的,则称级数 ∑+∞k=1xkpk 的值为随机变量X的数学期望。记为E(X)。
pk 可以理解为加权平均中的权值。数学期望又称为 均值。
设连续型随机变量X的概率密度函数为f(x),如果积分 ∫+∞−∞xf(x)dx 绝对收敛,则称 ∫+∞−∞xf(x)dx 为随机变量X的数学期望。
常见随机变量分布的数学期望
如果X~B(p),E(X)=p
如果X~B(n,p),E(X)=np
如果X~P(
λ
),E(X)=
λ
如果X~Geom(p),E(X)=
1p
如果X~U(a,b),E(X)=
(a+b)2
如果X~E(
λ
),E(X)=
1λ
如果X~N(
μ
,
σ2
),E(X)=
μ
随机变量函数的数学期望
懒人定理:设Y是随机变量X的函数:
Y=g(x)
,
X是离散型随机变量,X的分布律为
P(X=xk)=pk,k=1,2,3...
,若
∑+∞k=1g(xk)pk
收敛,则
E(Y)=E(g(X))=∑+∞k=1g(xk)pk
X是连续型随机变量,X的概率密度函数是f(x),若
∫+∞−∞g(x)f(x)dx
绝对收敛,则
E(Y)=E(g(X))=∫+∞−∞g(x)f(x)dx
。
因为有了定理,就不需要先求出g(X)的分布律或者概率密度函数,再计算期望,所以称为懒人定理。
二元随机变量函数的期望定理:设Z是随机变量X,Y的函数:Z=h(X,Y),
若二元离散型随机变量(X,Y)的分布律为:
P(xi,yj)=pij,i,j=1,2,3...
,则有
E(Z)=E(h(X,Y))=∑+∞i=1∑+∞j=1h(xi,yj)pij
。
若二元连续型随机变量(X,Y)的概率密度函数为:f(x,y),则有
E(Z)=E(h(X,Y))=∫+∞−∞∫+∞−∞h(x,y)f(x,y)dxdy
特别地,
数学期望的性质
- c是常数,E(c)=c。
- X是一个随机变量,c是常数,则E(cX)=cE(X)。
- 设X,Y是两个随机变量,则有E(X+Y)=E(X)+E(Y)。可以拓展到任意有限个随机变量的线性组合:
E(c0+∑i=1nciXi)=c0+∑i=1nciE(Xi)
- 设X,Y是相互独立的随机变量,则E(XY)=E(X)E(Y)。可以拓展到任意有限个随机变量乘积的情况:
E(∏i=1nXi)=∏i=1nE(Xi),其中 Xi,i=1,2,3... 相互独立。
方差
方差是用来反映波动性的。
定义
X是一个随机变量,如果
E{(X−E(X))2}
是存在的,则称
E{(X−E(X))2}
是X的方差。记为D(X)或者Var(X)。
D(X)−−−−−√
记为
σ(x)
,称为X的标准差或者均方差。
D(X)和
σ(x)
刻画了X取值的波动性,是衡量X取值分散程度的数字特征。如果D(X)较小,则X取值比较集中。
计算公式
D(X)=E(X2)−E(X)2
常见随机变量分布的方差
如果X~B(p),D(X)=p(1-p)
如果X~B(n,p),D(X)=np(1-p)
如果X~P(
λ
),D(X)=
λ
如果X~Geom(p),D(X)=
1−pp2
如果X~U(a,b),D(X)=
(b−a)212
如果X~E(
λ
),D(X)=
1λ2
如果X~N(
μ
,
σ2
),E(X)=
σ2
方差的性质
1 设c是常数,则D(c)=0。
2 设X是随机变量,c是常数,则
D(cX)=c2D(X)
。
3 设X,Y是两个随机变量,
D(X+Y)=D(X)+D(Y)+2tail
,tail=E{(X-E(X))(Y-E(Y))}。特别地,如果X,Y相互独立,则有
D(X+Y)=D(X)+D(Y)
。推广到任意有限个独立随机变量线性组合:
4 D(X)=0的充要条件是P(X=c)=1,且c=E(X)。
n个正态分布
n个独立的正态随机变量的线性组合仍然服从正态分布。若 Xi ~ N(μi,σ2i),i=1,2,...n 且相互独立,则它们的线性组合 c0+c1X1+c2X2+...+cnXn ~ N(co+c1μ1+c2μ2+...+cnμn,c21σ21+c22σ22+...+c2nσ2n) ,其中 c1,c2...cn 是不全为0 的常数。
标准化变量
设随机变量X具有数学期望
E(X)=μ
,方差
D(X)=σ2
,记
X∗=X−μσ
。称
X∗
是X的标准化变量。
协方差与相关系数
来源
方差定义中,当X,Y不独立时候的tail就是协方差。用来描述两个变量的相关程度。
定义
数值E{[X-E(X)][Y-E(Y)]}为随机变量X,Y的协方差,记为Cov(X,Y),即
Cov(X,Y)反映了X,Y的相关性。
当Cov(X,Y)>0,X,Y是正相关。
当Cov(X,Y)<0,X,Y是负相关。
当Cov(X,Y)=0,X,Y不相关。
计算公式
Cov(X,Y)=E(XY)−E(X)E(Y)
协方差的性质
1
Cov(X,Y)=Cov(Y,X)
2
Cov(X,X)=D(X)
3
Cov(aX,bY)=abCov(X,Y)
4
Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
相关系数
来源
协方差是有量纲的数字特征,为了消除量纲的影响,引入相关系数。
定义
数值
ρXY=Cov(X,Y)D(X)D(Y)−−−−−−−−−√
称为随机变量X与Y的相关系数。若记标准化变量
X∗=X−E(X)D(X)−−−−−√
,
Y∗=Y−E(Y)D(Y)−−−−−√
,则
ρXY=X∗Y∗
。
相关系数是衡量X,Y两个随机变量的线性相关关系的。
|ρXY|
绝对值越大,则X,Y的线性相关性越好。当
|ρXY|=1
,表明X,Y以概率1存在线性关系;当
|ρXY|=0
,表明X,Y之间没有线性关系,称为不相关。
相关系数的性质
1
|ρXY|≤1
2
|ρXY|=1⇔
存在常数a,b使得
P(Y=aX+bY)=1
。特别地,
ρXY=1
,
b>0
;
ρXY=−1
,
b<0
。
不相关与独立
不相关是指没有线性关系。独立是指没有任何关系。两个随机变量除了线性关系还可能存在平方关系、平方根关系等其他关系。
独立=>不相关。反之,则不可以。
判断两个随机变量是否独立的依据是:
f(X,Y)=fX(x)fY(y)
。
判断两个随机变量是否线性相关的依据是:Cov(X,Y)=0 或者E(XY)=E(X)E(Y)。
如果(X,Y)服从二元正态分布
N(μ1,μ2,σ21,σ22,ρ)
,则
ρXY=ρ
。X,Y相互独立的充要条件是
ρ=0
。所以对于二元正态变量,相互独立等价于不相关。
多元正态分布的性质
矩
设X为一个随机变量,如果
E(Xk),k=1,2...
存在,则称之为X的k阶(原点)矩。
设X为一个随机变量,如果
E[(X−E(X))k)],k=1,2...
存在,则称之为X的k阶中心矩。
期望E(X)就是X的1阶原点矩。D(X)是X的2阶中心矩。
设X,Y是两个随机变量,如果
E{XkYl},k,l=1,2...
存在,则称之为X与Y的k+l阶混合原点矩。
设X,Y是两个随机变量,如果
E[(X−E(X))k(Y−E(Y))l],k,l=1,2...
存在,则称之为X与Y的k+l阶混合中心矩。
协方差Cov(X,Y)就是1+1阶混合中心矩。
n元随机变量的期望向量和协方差矩阵
设n元随机变量
X=(X1,X2,...Xn)T,n≥1
,若其每一分量的数学期望都存在,则称
E(X)=(E(X1),E(X2),...E(Xn))T,n≥1
为n元随机变量X的数学期望(向量)。
n元正态随机变量
四条性质
1 任意子向量
(Xi1,Xi2,...Xik)T
服从k元正态分布。
2 任意线性组合
l0+l1X1+L2X2...+lnXn,其中l1,l2...不全为0
,服从一元正态分布。
如果
X=(X1,X2,X3)T
为三元正态随机变量,则
Z1=3X1−X2
,或者
Z2=2X1+4X2+5
,
Z1,Z2
都是一元正态 变量。只是在计算
Z1,Z2
的参数时候与相互独立的三元正态随机变量不同。会利用相关系统计算协方差的值。
3 若
Y1,Y2,...Yk
均为
Xi
的线性函数, 则
(Y1,Y2,...Yk)T
也服从k元正态分布。这是正态变量线性变换不变性。
4 若
X=(X1,X2,...Xn)T,n≥1
,服从n元正态分布,则
X1,X2...Xn
相互独立。X的协方差矩阵为对角矩阵。