备忘录
均值与期望
-
均值其实是针对实验观察到的特征样本 { x 1 , x 2 , ⋯ , x N } \{x_1,x_2,\cdots,x_N\} {x1,x2,⋯,xN}而言的,是一个统计量(对观察样本的统计)。
r = x 1 + x 2 + ⋯ + x N N (1.1) r=\frac{x_1+x_2+\cdots+x_N}{N}\tag{1.1} r=Nx1+x2+⋯+xN(1.1) -
期望是针对于随机变量而言的一个量,可以理解是一种站在“上帝视角”的值。针对于他的样本空间而言的,是一种概率论概念,是一个数学特征。
设离散型随机变量
X
X
X的分布律为:
P
{
X
=
x
k
}
=
p
k
,
k
=
1
,
2
,
⋯
.
P\{X=x_k \}=p_k,\quad k=1,2,\cdots.
P{X=xk}=pk,k=1,2,⋯.
若级数
∑
k
=
1
∞
x
k
p
k
\sum_{k=1} ^\infty x_k p_k
k=1∑∞xkpk
绝对收敛,则称级数
∑
k
=
1
∞
x
k
p
k
\sum_{k=1} ^\infty x_k p_k
∑k=1∞xkpk的和为随机变量
X
X
X的数学期望,记为
E
(
X
)
E(X)
E(X)。即
E
(
X
)
=
∑
k
=
1
∞
x
k
p
k
(1.2)
E(X)=\sum_{k=1} ^\infty x_k p_k\tag{1.2}
E(X)=k=1∑∞xkpk(1.2)
设连续型随机变量
X
X
X的概率密度为
f
(
x
)
f(x)
f(x),若积分为:
∫
∞
∞
x
f
(
x
)
d
x
\int_\infty^\infty xf(x)dx
∫∞∞xf(x)dx
绝对收敛,则称积分
∫
∞
∞
x
f
(
x
)
d
x
\int_\infty^\infty xf(x)dx
∫∞∞xf(x)dx的值为随机变量
X
X
X的数学期望,记为
E
(
X
)
E(X)
E(X)。即
E
(
X
)
=
∫
∞
∞
x
f
(
x
)
d
x
(1.3)
E(X)= \int_\infty^\infty xf(x)dx\tag{1.3}
E(X)=∫∞∞xf(x)dx(1.3)
- 定理 设
Y
Y
Y是随机变量
X
X
X的函数:
Y
=
g
(
X
)
Y=g(X)
Y=g(X)(
g
g
g是连续函数)
(i)如果 X X X是离散型随机变量,他的分布律为 P = { X = x k } = p k , k = 1 , 2 , ⋯ , P=\{X=x_k\}=p_k,k=1,2,\cdots, P={X=xk}=pk,k=1,2,⋯,若 ∑ k = 1 ∞ g ( x k ) p k \sum_{k=1}^{\infty}g(x_k)p_k ∑k=1∞g(xk)pk绝对收敛,则有
E ( Y ) = E [ g ( X ) ] = ∑ k = 1 ∞ g ( x k ) p k (1.4) E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k\tag{1.4} E(Y)=E[g(X)]=k=1∑∞g(xk)pk(1.4)
(ii)如果 X X X是连续型随机变量,它的概率密度为 f ( x ) f(x) f(x),若 ∫ − ∞ ∞ g ( x ) f ( x ) d x \int^\infty_{-\infty}g(x)f(x)dx ∫−∞∞g(x)f(x)dx绝对收敛,则有
E ( Y ) = E [ g ( X ) ] = ∫ − ∞ ∞ g ( x ) f ( x ) d x (1.5) E(Y)=E[g(X)]=\int^\infty_{-\infty}g(x)f(x)dx\tag{1.5} E(Y)=E[g(X)]=∫−∞∞g(x)f(x)dx(1.5) - 期望的性质
1˚设 C C C是常数,则有 E ( C ) = C E(C)=C E(C)=C
2˚设 X X X是一个随机变量, C C C是一个常数,则有
E ( C X ) = C E ( X ) E(CX)=CE(X) E(CX)=CE(X)
3˚设 X , Y X,Y X,Y是两个随机变量,则有
E ( X + Y ) = E ( X ) + E ( Y ) E(X+Y)=E(X)+E(Y) E(X+Y)=E(X)+E(Y)
4˚设 X , Y X,Y X,Y是相互独立的随机变量,则有
E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)
方差
- 设
X
X
X是一个随机变量,若
E
{
[
X
−
E
(
X
)
]
2
}
E\{[X-E(X)]^2\}
E{[X−E(X)]2}存在,则称
E
{
[
X
−
E
(
X
)
]
2
}
E\{[X-E(X)]^2\}
E{[X−E(X)]2}为
X
X
X的方差,记为
D
(
X
)
D(X)
D(X)或
V
a
r
(
X
)
Var(X)
Var(X),即
D ( X ) = V a r ( X ) = E { [ X − E ( X ) ] 2 } (2.1) D(X)=Var(X)=E\{[X-E(X)]^2\}\tag{2.1} D(X)=Var(X)=E{[X−E(X)]2}(2.1)
在应用上还引入量 D ( X ) \sqrt{D(X)} D(X),记为记为 σ ( X ) \sigma(X) σ(X),称为标准差或均方差。
随机变量 X X X的方差表达了 X X X的取值与其数学期望的偏离程度,若 D ( X ) D(X) D(X)较小意味着 X X X的取值比较集中在 E ( X ) E(X) E(X)的附近,反之,若 D ( X ) D(X) D(X)较大则表示 X X X的取值较分散。因此, D ( X ) D(X) D(X)是刻画 X X X的取值分散程度的一个量。
由定义知道,方差实际上就是随机变量
X
X
X的函数
g
(
X
)
=
(
X
−
E
(
X
)
)
2
g(X)=(X-E(X))^2
g(X)=(X−E(X))2的数学期望,于是对于离散型随机变量,按公式(1.4)有
D
(
X
)
=
∑
k
=
1
∞
[
x
k
−
E
(
X
)
]
2
p
k
(2.2)
D(X)=\sum_{k=1}^{\infty}[x_k-E(X)]^2p_k\tag{2.2}
D(X)=k=1∑∞[xk−E(X)]2pk(2.2)
其中
P
{
X
=
x
k
}
−
p
k
,
k
=
1
,
2
,
⋯
P\{X=x_k\}-p_k,k=1,2,\cdots
P{X=xk}−pk,k=1,2,⋯是
X
X
X的分布律。
对于连续型随机变量,按公式(1.5)有
D
(
X
)
=
∫
−
∞
∞
[
x
−
E
(
X
)
]
2
f
(
x
)
d
x
(2.3)
D(X)=\int_{-\infty}^\infty [x-E(X)]^2f(x)dx\tag{2.3}
D(X)=∫−∞∞[x−E(X)]2f(x)dx(2.3)
随机变量 X X X的方差,可按下列公式计算
D ( X ) = E ( X 2 ) − [ E ( X ) ] 2 (2.4) D(X)=E(X^2)-[E(X)]^2\tag{2.4} D(X)=E(X2)−[E(X)]2(2.4)
- 方差的性质
1˚设 C C C是常数,则有 D ( C ) = C D(C)=C D(C)=C
2˚设 X X X是一个随机变量, C C C是一个常数,则有
D ( C X ) = C 2 D ( X ) D ( X + C ) = D ( X ) \begin{aligned} D(CX)&=C^2D(X)\\ D(X+C)&=D(X) \end{aligned} D(CX)D(X+C)=C2D(X)=D(X)
3˚设 X , Y X,Y X,Y是两个随机变量,则有
D ( X + Y ) = D ( X ) + D ( Y ) + 2 E ( X − E ( X ) ) ( Y − E ( Y ) ) (2.5) D(X+Y)=D(X)+D(Y)+2E{(X-E(X))(Y-E(Y))}\tag{2.5} D(X+Y)=D(X)+D(Y)+2E(X−E(X))(Y−E(Y))(2.5)
特别的,若 X , Y X,Y X,Y是相互独立,则有
D ( X + Y ) = D ( X ) + D ( Y ) (2.6) D(X+Y)=D(X)+D(Y)\tag{2.6} D(X+Y)=D(X)+D(Y)(2.6)
4˚ D ( X ) = 0 D(X)=0 D(X)=0的充要条件是 X X X以概率1取常数 E ( X ) E(X) E(X),即
P { X = E ( X ) } = 1 P\{X=E(X)\}=1 P{X=E(X)}=1
协方差
-
定义:量 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } E\{ [X-E(X)] [Y-E(Y)]\} E{[X−E(X)][Y−E(Y)]}称为随机变量 X X X与 Y Y Y的协方差。记为 C o v ( X , Y ) Cov(X,Y) Cov(X,Y),即
C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } . Cov(X,Y)=E\{ [X-E(X)] [Y-E(Y)]\}. Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}.
而
ρ X Y = C o v ( X , Y ) D ( X ) D ( Y ) \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} ρXY=D(X)D(Y)Cov(X,Y)
称为随机变量 X X X与 Y Y Y的相关系数 -
关于相关系数:
1˚ ∣ ρ X Y ∣ ≤ 1 |\rho_{XY}|\leq1 ∣ρXY∣≤1
2˚ ∣ ρ X Y ∣ = 1 |\rho_{XY}|=1 ∣ρXY∣=1的充要条件是,存在常数 a , b a,b a,b使
P { Y = a + b X } = 1 P\{Y=a+bX\}=1 P{Y=a+bX}=1
3˚ ∣ ρ X Y ∣ |\rho_{XY}| ∣ρXY∣较大时,我们称 X X X与 Y Y Y线性相关程度较好,反之则较差。
4˚ ∣ ρ X Y ∣ = 0 |\rho_{XY}|=0 ∣ρXY∣=0时,称 X X X与 Y Y Y不相关 -
由定义即知
C o v ( X , Y ) = C o v ( Y , X ) C o v ( X , X ) = D ( X ) \begin{aligned} Cov(X,Y)&=Cov(Y,X)\\ Cov(X,X)&=D(X) \end{aligned} Cov(X,Y)Cov(X,X)=Cov(Y,X)=D(X)
由上述定义及(2.5)知,对于任意两个随机变量 X X X与 Y Y Y,下列等式成立:
D ( X + Y ) = D ( X ) + D ( Y ) + 2 C o v ( X , Y ) (3.1) D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\tag{3.1} D(X+Y)=D(X)+D(Y)+2Cov(X,Y)(3.1)
将 C o v ( X , Y ) Cov(X,Y) Cov(X,Y)的定义式展开,易得
C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) (3.2) Cov(X,Y)=E(XY)-E(X)E(Y)\tag{3.2} Cov(X,Y)=E(XY)−E(X)E(Y)(3.2)
我们常用这个式子计算协方差。 -
协方差具有下述性质:
1˚ C o v ( a X , b Y ) = a b C o v ( X 1 , Y ) + C o v ( X 2 , Y ) Cov(aX,bY)=abCov(X_1,Y)+Cov(X_2,Y) Cov(aX,bY)=abCov(X1,Y)+Cov(X2,Y), a , b a,b a,b是常数。
2˚ C o v ( X 1 + X 2 , Y ) = C o v ( X 1 , Y ) + C o v ( X 2 , Y ) Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
协方差矩阵
设 X X X与 Y Y Y是随机变量。
-
若
E ( X k ) , k = 1 , 2 , ⋯ E(X^k),k=1,2,\cdots E(Xk),k=1,2,⋯
存在,称它为 X X X的 k k k阶原点矩,简称 k k k阶矩。 -
若
E { [ X − E ( X ) ] k } , k = 1 , 2 , ⋯ E\{[X-E(X)]^k\},k=1,2,\cdots E{[X−E(X)]k},k=1,2,⋯
存在,称它为 X X X的 k k k阶中心矩 -
若
E ( X k Y l ) , k , l = 1 , 2 , ⋯ E(X^kY^l),k,l=1,2,\cdots E(XkYl),k,l=1,2,⋯
存在,称它为 X X X和 Y Y Y的 k + l k+l k+l阶混合矩。 -
若
E { [ X − E ( X ) ] k [ Y − E ( Y ) ] l } , k , l = 1 , 2 , ⋯ E\{[X-E(X)]^k[Y-E(Y)]^l\},k,l=1,2,\cdots E{[X−E(X)]k[Y−E(Y)]l},k,l=1,2,⋯
存在,称它为 X X X和 Y Y Y的 k + l k+l k+l阶混合中心矩。
显然, X X X的数学期望 E ( X ) E(X) E(X)是 X X X的一阶原点矩。方差 D ( X ) D(X) D(X)是 X X X的二阶中心矩,协方差 C o v ( X , Y ) Cov(X,Y) Cov(X,Y)是 X X X和 Y Y Y的二阶混合中心矩
- 定义:
设 n n n维随机变量 ( X 1 , X 2 , ⋯ , X n ) (X_1,X_2,\cdots,X_n) (X1,X2,⋯,Xn)的二阶混合中心矩 c i j = C o v ( X , Y ) = E { [ X i − E ( X i ) [ X j − E ( X j ) } , i , j = 1 , 2 , ⋯ , n c_ij=Cov(X,Y)=E\{[X_i-E(X_i)[X_j-E(X_j)\},i,j=1,2,\cdots,n cij=Cov(X,Y)=E{[Xi−E(Xi)[Xj−E(Xj)},i,j=1,2,⋯,n都存在,则称矩阵
C
=
[
C
11
C
12
⋯
C
1
n
C
21
C
22
⋯
C
2
n
⋮
⋮
⋱
⋮
C
n
1
C
n
2
⋯
C
n
n
]
C= \begin{bmatrix} C_{11} & C_{12} &\cdots& C_{1n} \\ C_{21} & C_{22} &\cdots& C_{2n}\\ \vdots& \vdots &\ddots&\vdots\\ C_{n1} & C_{n2} &\cdots& C_{nn} \\ \end{bmatrix}
C=⎣⎢⎢⎢⎡C11C21⋮Cn1C12C22⋮Cn2⋯⋯⋱⋯C1nC2n⋮Cnn⎦⎥⎥⎥⎤
为
n
n
n维随机变量
(
X
1
,
X
2
,
⋯
,
X
n
)
(X_1,X_2,\cdots,X_n)
(X1,X2,⋯,Xn)的协方差矩阵。是一个对称矩。