1 数学期望
一维变量
离散随机变量X具有分布列
P
(
X
=
x
k
)
=
p
k
,
k
=
1
,
2
,
3
…
…
P(X = x_k) = p_k,k = 1,2,3……
P(X=xk)=pk,k=1,2,3……
若级数
∑
k
=
1
∞
x
k
p
k
绝
对
收
敛
，
即
∑
k
=
1
∞
∣
x
k
∣
p
k
<
∞
\sum^∞_{k=1}x_kp_k 绝对收敛，即\sum^∞_{k=1}|x_k|p_k <∞
k=1∑∞xkpk绝对收敛，即k=1∑∞∣xk∣pk<∞
该级数就是X的数学期望
记为EX
连续型随机变量X有概率密度函数p(x)
∫
−
∞
∞
x
p
(
x
)
d
x
收
敛
\int^∞_{-∞}xp(x)dx收敛
∫−∞∞xp(x)dx收敛
于是上面的积分就是X的数学期望
注意：初等概率论数学期望EX都是有限制，不包括∞的情况，而有些分布数学期望不存在，比如柯西分布
定理
Y = f(X) 为随机变量X的函数，若数学期望E(f(X))
E
Y
=
E
(
f
(
X
)
)
=
{
∑
k
f
(
x
k
)
p
k
离
散
∫
−
∞
∞
f
(
x
)
p
(
x
)
d
x
连
续
EY = E(f(X))=\left\{ \begin{aligned} \sum_{k}f(x_k)p_k& &离散 \\ \int^∞_{-∞} f(x)p(x)dx & & 连续\\ \end{aligned} \right.
EY=E(f(X))=⎩⎪⎪⎪⎨⎪⎪⎪⎧k∑f(xk)pk∫−∞∞f(x)p(x)dx离散连续
性质
1)E( c ) = c
2)E(aX) = aEX
3)E(f(X)+g(X)) = E(f(X)) + E(g(X))
二维
定义
（X，Y）是二维随机变量，(EX,EY)是该变量的数学期望向量
定理
Z=g(X,Y)是二维随机变量的函数
E
Z
=
E
g
(
X
,
Y
)
{
∑
i
,
j
g
(
x
i
,
y
i
)
p
i
j
离
散
∬
g
(
x
,
y
)
p
(
x
,
y
)
d
x
d
y
连
续
EZ = Eg(X,Y)\left\{ \begin{aligned} \sum_{i,j}g(x_i,y_i)p_{ij}& &离散 \\ \iint g(x,y)p(x,y)dxdy & & 连续\\ \end{aligned} \right.
EZ=Eg(X,Y)⎩⎪⎪⎨⎪⎪⎧i,j∑g(xi,yi)pij∬g(x,y)p(x,y)dxdy离散连续
定理
1）
E
(
f
(
X
)
+
g
(
Y
)
)
=
E
f
(
X
)
+
E
g
(
Y
)
E(f(X) + g(Y)) = Ef(X)+Eg(Y)
E(f(X)+g(Y))=Ef(X)+Eg(Y) 其中f和g为一元实值函数
2）X,Y相互独立，则
E
(
f
(
X
)
g
(
Y
)
)
=
E
f
(
X
)
E
g
(
Y
)
E(f(X)g(Y))=Ef(X)Eg(Y)
E(f(X)g(Y))=Ef(X)Eg(Y)
于是我们有
E
[
(
X
−
E
X
)
(
Y
−
E
Y
)
]
=
E
(
X
Y
)
−
E
X
E
Y
E[(X-EX)(Y-EY)]=E(XY)-EXEY
E[(X−EX)(Y−EY)]=E(XY)−EXEY
XY相互独立
E
(
f
(
X
)
g
(
Y
)
)
=
0
E(f(X)g(Y))=0
E(f(X)g(Y))=0
2.方差
若数学期望
E
(
X
−
E
X
)
2
E(X-EX)^2
E(X−EX)2存在 称其为随机变量X的方差，记为VarX
称
σ
X
=
σ
(
X
)
=
V
a
r
X
\sigma_X=\sigma(X) = \sqrt{VarX}
σX=σ(X)=VarX是X的标准差
性质
1）Var( c ) = 0
2) Var(aX+b) =
a
2
a^2
a2Var(X)
3) VarX =
E
X
2
−
(
E
X
)
2
EX^2 - (EX)^2
EX2−(EX)2
4) VarX
⩾
\geqslant
⩾ 0
5) Var(X±Y) = VarX + VarY ±
2
E
[
(
X
−
E
X
)
(
Y
−
E
Y
)
]
2E[(X-EX)(Y-EY)]
2E[(X−EX)(Y−EY)]
6) XY相互独立， Var(X±Y)=VarX+VarY
马尔科夫不等式
随机变量X方差存在，对任意
ϵ
\epsilon
ϵ>0
P
(
X
≥
ϵ
)
≤
E
X
ϵ
P(X≥\epsilon)≤\frac{EX}{\epsilon}
P(X≥ϵ)≤ϵEX
切比雪夫不等式
P
{
∣
X
−
E
X
∣
≥
ϵ
}
≤
V
a
r
X
ϵ
2
P\{|X-EX|≥\epsilon\}≤\frac{VarX}{\epsilon^2}
P{∣X−EX∣≥ϵ}≤ϵ2VarX
P
{
∣
X
−
E
X
∣
<
ϵ
}
≥
1
−
V
a
r
X
ϵ
2
P\{|X-EX|<\epsilon\}≥1-\frac{VarX}{\epsilon^2}
P{∣X−EX∣<ϵ}≥1−ϵ2VarX
3.协方差与相关系数
定义
设（X,Y)是二维随机变量，若
E
[
(
X
−
E
X
)
(
Y
−
E
Y
)
]
E[(X-EX)(Y-EY)]
E[(X−EX)(Y−EY)]存在 称之为X和Y的协方差，记为Cov(X,Y)
性质
1)
C
o
v
(
X
,
Y
)
=
C
o
v
(
Y
,
X
)
Cov(X,Y) = Cov(Y,X)
Cov(X,Y)=Cov(Y,X)
C
o
v
(
X
,
X
)
=
V
a
r
X
\ \ \ Cov(X,X) = VarX
Cov(X,X)=VarX
2)
C
o
v
(
X
,
a
)
=
0
C
o
v
(
a
X
,
b
Y
)
=
a
b
C
o
v
(
X
,
Y
)
Cov(X,a)=0\ \ \ Cov(aX,bY)=abCov(X,Y)
Cov(X,a)=0 Cov(aX,bY)=abCov(X,Y)
3)
C
o
v
(
X
,
Y
)
=
E
(
X
Y
)
−
E
X
E
Y
Cov(X,Y)=E(XY)-EXEY
Cov(X,Y)=E(XY)−EXEY
4）X和Y相互独立，有Cov(X,Y) = 0 (反之不一定成立
5）Cov(X+Y,Z) = Cov(X,Z） + Cov(Y,Z)
6) Var(X±Y) = VarX+VarY +=2Cov(X,Y)
定义
C
o
r
r
(
X
,
Y
)
=
C
o
v
(
X
,
Y
)
V
a
r
X
V
a
r
Y
Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{VarX}\sqrt{VarY}}
Corr(X,Y)=VarXVarYCov(X,Y)
是X和Y的相关系数，可记
ρ
X
Y
\rho_{XY}
ρXY
取值在-1到1之间
X
∗
=
X
−
E
X
V
a
r
X
Y
∗
=
Y
−
E
Y
V
a
r
Y
E
X
∗
=
E
Y
∗
=
0
V
a
r
X
∗
=
V
a
r
Y
∗
=
1
X^{*} = \frac{X-EX}{\sqrt{VarX}}\quad Y^{*} = \frac{Y-EY}{\sqrt{VarY}}\\ \\\ \\ EX^*=EY^* = 0\\ VarX^* = VarY^* = 1
X∗=VarXX−EXY∗=VarYY−EY EX∗=EY∗=0VarX∗=VarY∗=1
定理
|Corr(X,Y)|≤1
==1的时候当且仅当X与Y有线性关系
即存在a,b使得P（Y=aX+b） ==1
推论
Cauchy-Schwarz不等式
∣
C
o
r
r
(
X
,
Y
)
∣
≤
1
|Corr(X,Y)|≤1
∣Corr(X,Y)∣≤1
得到
∣
E
(
(
X
−
E
X
)
(
Y
−
E
Y
)
)
∣
2
≤
V
a
r
X
⋅
V
a
r
Y
|E((X-EX)(Y-EY))|^2≤VarX\cdot VarY
∣E((X−EX)(Y−EY))∣2≤VarX⋅VarY
一般期望存在，有
∣
E
(
X
Y
)
∣
2
≤
E
X
2
E
Y
2
|E(XY)|^2≤EX^2EY^2
∣E(XY)∣2≤EX2EY2
对于(X,Y)~N【注意要联合分布】
Corr(X,Y) =
ρ
\rho
ρ 对于二维正态分布，不相关 和 独立等价
4 矩和其他数字特征
矩
E
(
X
−
E
X
)
k
E(X-EX)^k
E(X−EX)k是X的k阶中心矩，记为
ν
k
\nu_k
νk
E
X
k
EX^k
EXk是X的原点矩 记为
μ
k
\mu_k
μk
偏度系数
X的三阶矩
μ
3
\mu_3
μ3存在，称
β
S
=
ν
3
σ
3
\beta_S = \frac{\nu_3}{\sigma^3}
βS=σ3ν3是X的偏度系数
σ
=
ν
2
\sigma = \sqrt{\nu_2}
σ=ν2是X的标准差
峰度系数
随机变量X的四阶矩
μ
4
\mu_4
μ4存在
β
k
=
ν
4
ν
2
2
−
3
\beta_k=\frac{\nu_4}{\nu_2^2}-3
βk=ν22ν4−3是X的峰度系数
变异系数
随机变量二阶矩
μ
2
\mu_2
μ2存在且数学期望
μ
1
=
E
X
≠
0
\mu_1=EX≠0
μ1=EX=0，称
C
v
=
ν
2
μ
1
=
1
α
C_v=\frac{\sqrt{\nu_2}}{\mu_1}=\frac{1}{\sqrt{\alpha}}
Cv=μ1ν2=α1
分位数
F是X的分布函数，α∈（0，1）
x
α
=
i
n
f
{
x
:
F
(
x
)
≥
α
}
x_{\alpha}=inf\{x:F(x)≥\alpha \}
xα=inf{x:F(x)≥α} (下分位数点）
中位数
F是X的分布函数，
x
1
/
2
x_{1/2}
x1/2是X或F的中位数
P＜中位数的部分 = P > 中位数的部分
5 极限定理
中心极限定理
随机变量X服从二项分布 b(n,p)
当n充分大
可以用 N(np,np(1-p)) 来近似求解
若n趋于无穷，
S
n
=
∑
k
=
1
n
X
k
S_n = \sum^n_{k=1}X_k
Sn=∑k=1nXk渐进服从正态分布，即
S
n
−
E
S
n
V
a
r
S
n
\frac{S_n-ES_n}{\sqrt{VarS_n}}
VarSnSn−ESn的分布函数
F
n
(
x
)
收
敛
于
Φ
(
x
)
F_n(x)收敛于\Phi(x)
Fn(x)收敛于Φ(x)
我们称
{
X
n
,
n
≥
1
}
\{X_n,n≥1\}
{Xn,n≥1}服从中心极限定理
林德贝格——勒维中心定理
独立同分布的随机变量序列，数学期望为
μ
\mu
μ方差是
σ
2
\sigma^2
σ2记
则
lim
n
→
∞
P
{
S
n
−
n
μ
σ
n
≤
y
}
=
Φ
(
x
)
\lim_{n\rightarrow∞}P\{\frac{S_n-n\mu}{\sigma\sqrt{n}}≤y\} = \Phi(x)
n→∞limP{σnSn−nμ≤y}=Φ(x)
德莫弗——拉普拉斯中心定理
符合二项分布Y_n~b(n,p)
lim
n
→
∞
P
{
Y
n
−
n
p
n
p
(
1
−
p
)
≤
y
}
=
Φ
(
x
)
\lim_{n\rightarrow∞}P\{\frac{Y_n-np}{\sqrt{np(1-p)}}≤y\} = \Phi(x)
n→∞limP{np(1−p)Yn−np≤y}=Φ(x)
大数定理
X和X_1,X_2……都在同一个概率空间中
对任意的
ϵ
>
0
\epsilon > 0
ϵ>0
有
lim
n
→
∞
P
(
∣
X
n
−
X
∣
≥
ϵ
)
=
0
\lim_{n\rightarrow∞}P(|X_n-X|≥\epsilon)=0
limn→∞P(∣Xn−X∣≥ϵ)=0
称随机变量序列
{
X
n
,
n
≥
1
}
\{X_n,n≥1\}
{Xn,n≥1}依概率收敛到X
记为
X
n
→
P
X
X_n\rightarrow^PX
Xn→PX
定义
若
S
n
−
E
S
n
n
→
P
0
\frac{S_n-ES_n}{n}\rightarrow^P\ \ 0
nSn−ESn→P 0
Bernoulli大数定理
X1，X2……独立同分布，共同分布满足b(1,p)
则
S
n
n
→
P
p
\frac{S_n}{n}\rightarrow^P p
nSn→Pp
切比雪夫大数定理
随机变量序列，两两互不相关（Cov(X_i,X_j) == 0) 且他们的方差一致有界，其满足大数定理
马尔可夫大数定理
1
n
2
V
a
r
(
∑
k
=
1
n
X
k
)
→
0
\frac{1}{n^2}Var(\sum^n_{k=1}X_k)\rightarrow0
n21Var(k=1∑nXk)→0
其满足大数定理
Khinchin大数定理
X1，X2……独立同分布，EX1存在
则随机变量序列
{
X
n
,
n
⩾
1
}
\{X_n,n\geqslant 1\}
{Xn,n⩾1}服从大数定理
692
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
