连续随机变量
文章目录
1. 连续随机变量和概率密度函数
1.1 关于 P D F PDF PDF概率密度函数的性质
设 X X X的 P D F PDF PDF(概率密度函数)为 f X ( x ) f_X(x) fX(x)。
- f X ( x ) ≥ 0 f_X(x) \ge 0 fX(x)≥0对一切 x x x成立
- ∫ − ∞ ∞ f X ( x ) d x = 1 \displaystyle\int_{-\infin}^{\infin}f_X(x)dx=1 ∫−∞∞fX(x)dx=1
- 设 δ \delta δ是一个充分小的正数,则 P ( [ x , x + δ ] ) ≈ f X ( x ) ⋅ δ P([x,x+\delta])\approx f_X(x)·\delta P([x,x+δ])≈fX(x)⋅δ
- 对任何实数轴上的子集 B B B,
P ( x ∈ B ) = ∫ B f X ( x ) d x P(x \in B) = \int_B f_X(x)dx P(x∈B)=∫BfX(x)dx
1.2 连续随机变量的期望
设 X X X为连续随机变量,其相应的 P D F PDF PDF(概率密度函数)为 f X ( x ) f_X(x) fX(x)
- X X X的期望由下式定义:
E [ X ] = ∫ − ∞ ∞ x f X ( x ) d x E[X]=\int_{-\infin}^{\infin}xf_X(x)dx E[X]=∫−∞∞xfX(x)dx
- 关于随机变量 g ( X ) g(X) g(X)的期望规则为
E [ g ( X ) ] = ∫ − ∞ ∞ g ( x ) f X ( x ) d x E[g(X)]=\int_{-\infin}^{\infin}g(x)f_X(x)dx E[g(X)]=∫−∞∞g(x)fX(x)dx
- X X X的方差由下式给出:
v a r ( X ) = E [ X 2 ] − ( E [ X ] ) 2 = ∫ − ∞ ∞ ( x − E [ X ] ) 2 f X ( x ) d x var(X) = E[X^2] - (E[X])^2 = \int_{-\infin}^{\infin}(x-E[X])^2f_X(x)dx var(X)=E[X2]−(E[X])2=∫−∞∞(x−E[X])2fX(x)dx
- 设 Y = a X + b Y=aX+b Y=aX+b,其中 a a a和 b b b为常数,则
E [ Y ] = a E [ X ] + b , v a r ( Y ) = a 2 v a r ( X ) E[Y]=aE[X]+b,\space \space \space var(Y)=a^2var(X) E[Y]=aE[X]+b, var(Y)=a2var(X)
2. 分布函数
随机变量
X
X
X的
C
D
F
CDF
CDF
F
X
F_X
FX由下式定义
对
每
一
个
x
,
F
X
(
x
)
=
P
(
X
≤
x
)
对每一个x,F_X(x)=P(X \le x)
对每一个x,FX(x)=P(X≤x)
并且
F
X
F_X
FX具有下列性质。
- F X F_X FX是单调非减函数:
若 x ≤ y , 则 F X ( x ) ≤ F X ( y ) 若x\le y,\space\space\space 则F_X(x) \le F_X(y) 若x≤y, 则FX(x)≤FX(y)
- 当 x → − ∞ x\to -\infin x→−∞的时候, F X ( x ) F_X(x) FX(x)趋于 0 0 0,当 x → ∞ x\to\infin x→∞的时候, F X ( x ) F_X(x) FX(x)趋于 1 1 1。
- 当 X X X是离散随机变量的时候, F X ( x ) F_X(x) FX(x)为 x x x的阶梯函数。
- 当 X X X是连续随机变量的时候, F X ( x ) F_X(x) FX(x)为 x x x的连续函数。
- 当 X X X的离散随机变量并且去整数数值时,分布函数和分布列可以利用求和或差分互求:
F X ( k ) = P ( X ≤ k ) = ∑ i = 1 k p X ( i ) F_X(k)=P(X\le k)=\sum_{i=1}^{k}p_X(i) FX(k)=P(X≤k)=i=1∑kpX(i)
p X ( k ) = P ( X ≤ k ) − P ( X ≤ k − 1 ) = F X ( k ) − F X ( k − 1 ) p_X(k)=P(X\le k)-P(X \le k-1)=F_X(k)-F_X(k-1) pX(k)=P(X≤k)−P(X≤k−1)=FX(k)−FX(k−1)
其中 k k k可以取任意整数。
- 当 X X X是连续随机变量的时候,分布函数和概率密度函数可以利用积分或微分互换:
F x ( x ) = ∫ − ∞ x f X ( t ) d t , f X ( x ) = d F X d x ( x ) F_x(x)=\int_{-\infin}^{x}f_X(t)dt,\space\space\space f_X(x)=\cfrac{dF_X}{dx}(x) Fx(x)=∫−∞xfX(t)dt, fX(x)=dxdFX(x)
(第二个等式只在分布函数可微的那些点上成立)
3. 正态随机变量
关于正态随机变量的 C D F CDF CDF的计算:
利用标准正态分布表计算正态随机变量 X X X的分布函数( X X X的均值为 μ \mu μ,方差为 σ 2 \sigma^2 σ2),下面分两部分进行:
- 将 X X X标准化,减去 μ \mu μ,再除以 σ \sigma σ得到标准正态变量 Y Y Y。
- 从标准正态分布表查得 C D F CDF CDF的值:
P ( X ≤ x ) = P ( X − μ σ ≤ x − μ σ ) = P ( Y ≤ x − u σ ) = Φ ( x − u σ ) P(X\le x)=P(\cfrac{X-\mu}{\sigma}\le \cfrac{x-\mu}{\sigma})=P(Y\le \cfrac{x-u}{\sigma})=\Phi(\cfrac{x-u}{\sigma}) P(X≤x)=P(σX−μ≤σx−μ)=P(Y≤σx−u)=Φ(σx−u)
其中 Y Y Y是标准正态随机变量。
4. 多个随机变量的联合概率密度
令 X X X和 Y Y Y为联合连续随机变量,其联合概率密度函数为 f X , Y f_{X,Y} fX,Y。
- 利用联合概率密度函数可以进行概率计算:
P ( ( X , Y ) ∈ B ) = ∬ ( x , y ) ∈ B f X , Y ( x , y ) d x d y P((X,Y)\in B)=\iint_{(x,y)\in B}f_{X,Y}(x,y)dxdy P((X,Y)∈B)=∬(x,y)∈BfX,Y(x,y)dxdy
- X X X和 Y Y Y的边缘概率密度函数可以利用联合概率密度函数进行计算得到:
f X ( x ) = ∫ − ∞ ∞ f X , Y ( x , y ) d y , f Y ( y ) = ∫ − ∞ ∞ f X , Y ( x , y ) d x f_X(x)=\int_{-\infin}^{\infin}f_{X,Y}(x,y)dy,\space\space\space f_Y(y)=\int_{-\infin}^{\infin}f_{X,Y}(x,y)dx fX(x)=∫−∞∞fX,Y(x,y)dy, fY(y)=∫−∞∞fX,Y(x,y)dx
- 联合分布函数由公式 F X , Y ( x , y ) = P ( X ≤ x , Y ≤ y ) F_{X,Y}(x,y)=P(X\le x,Y \le y) FX,Y(x,y)=P(X≤x,Y≤y)定义,并且在联合概率密度函数的连续点上,下面的公式成立:
f X , Y = ∂ 2 F X , Y ∂ x ∂ y ( x , y ) f_{X,Y}=\cfrac{\partial^2 F_{X,Y}}{\partial x \partial y}(x,y) fX,Y=∂x∂y∂2FX,Y(x,y)
- X X X和 Y Y Y的函数 g ( X , Y ) g(X,Y) g(X,Y)定义了一个新的随机变量,并且
E [ g ( X , Y ) ] = ∫ − ∞ ∞ ∫ − ∞ ∞ g ( x , y ) f X , Y d x d y E[g(X,Y)]=\int_{-\infin}^{\infin}\int_{-\infin}^{\infin}g(x,y)f_{X,Y}dxdy E[g(X,Y)]=∫−∞∞∫−∞∞g(x,y)fX,Ydxdy
- 若 g g g是一个线性函数 a X + b Y + c aX+bY+c aX+bY+c,则
E [ a X + b Y + c ] = a E [ X ] + b E [ Y ] + c E[aX+bY+c]=aE[X]+bE[Y]+c E[aX+bY+c]=aE[X]+bE[Y]+c
- 上面的结论能够自然地推广到多于两个随机变量的情况。
5. 条件概率
5.1 以事件为条件的条件概率密度函数
- 对于给定的事件 A ( P ( A ) > 0 ) A(P(A)>0) A(P(A)>0),连续随机变量 X X X的条件概率密度函数 f X ∣ A f_{X|A} fX∣A的满足下列条件的函数:
P ( X ∈ B ∣ A ) = ∫ B f X ∣ A ( x ) d x P(X\in B|A)=\int_B f_{X|A}(x)dx P(X∈B∣A)=∫BfX∣A(x)dx
其中 B B B是实数轴上的任意集合。
- 设 A A A是一个实数集合,满足条件 P ( X ∈ A ) > 0 P(X\in A)>0 P(X∈A)>0,则
f X ∣ { X ∈ A } ( x ) = { f X ( x ) P ( X ∈ A ) 若 x ∈ A , 0 , 其 他 f_{X|\{X\in A\}}(x)= \begin{cases} \cfrac{f_X(x)}{P(X\in A)} & 若x \in A,\\ 0, & 其他 \end{cases} fX∣{X∈A}(x)=⎩⎨⎧P(X∈A)fX(x)0,若x∈A,其他
- 设 A 1 , A 2 , ⋅ ⋅ ⋅ , A n A_1,A_2,···,A_n A1,A2,⋅⋅⋅,An为互不相容的 n n n个事件,对每个 i i i, P ( A i ) > 0 P(A_i)>0 P(Ai)>0,并且这些事件形成样本空间的一个分割,则
f X ( x ) = ∑ i = 1 n P ( A i ) f X ∣ A i ( x ) f_X(x)=\sum_{i=1}^nP(A_i)f_{X|A_i}(x) fX(x)=i=1∑nP(Ai)fX∣Ai(x)
(全概率定理的一种变形)
5.2 以另一个随机变量为条件的条件概率密度函数
设 X X X和 Y Y Y的联合连续随机变量,其联合概率密度函数为 f X , Y f_{X,Y} fX,Y。
- X X X和 Y Y Y的联合,边缘和条件概率密度函数是相互关联的。他们的关系用下面的公式表示
f X , Y ( x , y ) = f Y ( y ) f X ∣ Y ( x ∣ y ) f_{X,Y}(x,y)=f_Y(y)f_{X|Y}(x|y) fX,Y(x,y)=fY(y)fX∣Y(x∣y)
f X ( x ) = ∫ − ∞ ∞ f Y ( y ) f X ∣ Y ( x ∣ y ) d y f_X(x)=\int_{-\infin}^{\infin}f_Y(y)f_{X|Y}(x|y)dy fX(x)=∫−∞∞fY(y)fX∣Y(x∣y)dy
条件概率密度函数 f X ∣ Y ( x ∣ y ) f_{X|Y}(x|y) fX∣Y(x∣y)只在集合 { y ∣ f Y ( y ) > 0 } \{y|f_Y(y)>0\} {y∣fY(y)>0}上有定义。
- 关于条件概率,我们有
P ( X ∈ A ∣ Y = y ) = ∫ A f X ∣ Y ( x ∣ y ) d x P(X\in A|Y=y)=\int_A f_{X|Y}(x|y)dx P(X∈A∣Y=y)=∫AfX∣Y(x∣y)dx
5.3 条件期望的性质
记 X X X和 Y Y Y为连续随机变量, A A A是满足 P ( A ) > 0 P(A)>0 P(A)>0的事件。
- X X X在给定的事件 A A A之下的条件期望由下式定义
E [ X ∣ A ] = ∫ − ∞ ∞ x f X ∣ A ( x ) d x E[X|A] =\int_{-\infin}^{\infin}xf_{X|A}(x)dx E[X∣A]=∫−∞∞xfX∣A(x)dx
给定
Y
=
y
Y=y
Y=y之下的条件期望由下式定义
E
[
X
∣
Y
=
y
]
=
∫
−
∞
∞
x
f
X
∣
Y
(
x
∣
y
)
d
x
E[X|Y=y] = \int_{-\infin}^{\infin}xf_{X|Y}(x|y)dx
E[X∣Y=y]=∫−∞∞xfX∣Y(x∣y)dx
- 期望规则依然有效:
E [ g ( X ) ∣ A ] = ∫ − ∞ ∞ g ( x ) f X ∣ A ( x ) d x E[g(X)|A]=\int_{-\infin}^{\infin}g(x)f_{X|A}(x)dx E[g(X)∣A]=∫−∞∞g(x)fX∣A(x)dx
E [ g ( X ) ∣ Y = y ] = ∫ − ∞ ∞ g ( x ) f X ∣ Y ( x ∣ y ) d x E[g(X)|Y=y]=\int_{-\infin}^{\infin}g(x)f_{X|Y}(x|y)dx E[g(X)∣Y=y]=∫−∞∞g(x)fX∣Y(x∣y)dx
- 全期望定理:设 A 1 , A 2 , ⋅ ⋅ ⋅ , A n A_1,A_2,···,A_n A1,A2,⋅⋅⋅,An为互不相容的 n n n个事件,对每个 i i i, P ( A i ) > 0 P(A_i)>0 P(Ai)>0,并且这些事件形成样本空间的一个分割。则
E [ X ] = ∑ i = 1 n P ( A i ) E [ X ∣ A i ] E[X]=\sum_{i=1}^{n}P(A_i)E[X|A_i] E[X]=i=1∑nP(Ai)E[X∣Ai]
相似地,
E
[
X
]
=
∫
−
∞
∞
E
[
X
∣
Y
=
y
]
f
Y
(
y
)
d
y
E[X]=\int_{-\infin}^{\infin}E[X|Y=y]f_Y(y)dy
E[X]=∫−∞∞E[X∣Y=y]fY(y)dy
- 涉及几个随机变量的函数情况,具有完全相似的结果。例如
E [ g ( X , Y ) ∣ Y = y ] = ∫ g ( x , y ) f X ∣ Y ( x ∣ y ) d x E[g(X,Y)|Y=y]=\int g(x,y)f_{X|Y}(x|y)dx E[g(X,Y)∣Y=y]=∫g(x,y)fX∣Y(x∣y)dx
E [ g ( X , Y ) ] = ∫ E [ g ( X , Y ) ∣ Y = y ] f Y ( y ) d y E[g(X,Y)]=\int E[g(X,Y)|Y=y]f_Y(y)dy E[g(X,Y)]=∫E[g(X,Y)∣Y=y]fY(y)dy
5.4 连续随机变量的相互独立性
令 X X X和 Y Y Y为联合连续随机变量。
- 若
f X , Y ( x , y ) = f X ( x ) f Y ( y ) f_{X,Y}(x,y)=f_X(x)f_Y(y) fX,Y(x,y)=fX(x)fY(y)
则 X X X和 Y Y Y相互独立。
- 若 X X X和 Y Y Y相互独立,则
E [ X Y ] = E [ X ] E [ Y ] E[XY]=E[X]E[Y] E[XY]=E[X]E[Y]
进一步地,对于任意函数
g
g
g和
h
h
h,随机变量
g
(
X
)
g(X)
g(X)和
h
(
Y
)
h(Y)
h(Y)也是相互独立的,于是
E
[
g
(
X
)
h
(
Y
)
]
=
E
[
g
(
X
)
]
E
[
h
(
Y
)
]
E[g(X)h(Y)]=E[g(X)]E[h(Y)]
E[g(X)h(Y)]=E[g(X)]E[h(Y)]
- 若 X X X和 Y Y Y相互独立,则
v a r ( X + Y ) = v a r ( X ) + v a r ( Y ) var(X+Y)=var(X)+var(Y) var(X+Y)=var(X)+var(Y)
6. 连续贝叶斯准则
令 Y Y Y为连续随机变量。
- 若 X X X为连续随机变量,我们有
f X ∣ Y ( x ∣ y ) f Y ( y ) = f X ( x ) f Y ∣ X ( y ∣ x ) f_{X|Y}(x|y)f_Y(y)=f_X(x)f_{Y|X}(y|x) fX∣Y(x∣y)fY(y)=fX(x)fY∣X(y∣x)
和
f
X
∣
Y
(
x
∣
y
)
=
f
X
(
x
)
f
Y
∣
X
(
y
∣
x
)
f
Y
(
y
)
=
f
X
(
x
)
f
Y
∣
X
(
y
∣
x
)
∫
−
∞
∞
f
X
(
t
)
f
Y
∣
X
(
y
∣
t
)
d
t
f_{X|Y}(x|y)=\cfrac{f_X(x)f_{Y|X}(y|x)}{f_Y(y)}=\cfrac{f_X(x)f_{Y|X}(y|x)}{\displaystyle\int_{-\infin}^{\infin}f_X(t)f_{Y|X}(y|t)dt}
fX∣Y(x∣y)=fY(y)fX(x)fY∣X(y∣x)=∫−∞∞fX(t)fY∣X(y∣t)dtfX(x)fY∣X(y∣x)
- 若 N N N为离散随机变量,我们有
f Y ( y ) P ( N = n ∣ Y = y ) = p N ( n ) f Y ∣ N ( y ∣ n ) f_Y(y)P(N=n|Y=y)=p_N(n)f_{Y|N}(y|n) fY(y)P(N=n∣Y=y)=pN(n)fY∣N(y∣n)
得到的贝叶斯公式为
P
(
N
=
n
∣
Y
=
y
)
=
p
N
(
n
)
f
Y
∣
N
(
y
∣
n
)
f
Y
(
y
)
=
p
N
(
n
)
f
Y
∣
N
(
y
∣
n
)
∑
i
P
N
(
i
)
f
Y
∣
N
(
y
∣
i
)
P(N=n|Y=y)=\cfrac{p_N(n)f_{Y|N}(y|n)}{f_Y(y)}=\cfrac{p_N(n)f_{Y|N}(y|n)}{\displaystyle\sum_i P_N(i)f_{Y|N}(y|i)}
P(N=n∣Y=y)=fY(y)pN(n)fY∣N(y∣n)=i∑PN(i)fY∣N(y∣i)pN(n)fY∣N(y∣n)
和
f
Y
∣
N
(
y
∣
n
)
=
f
Y
(
y
)
P
(
N
=
n
∣
Y
=
y
)
P
N
(
n
)
=
f
Y
(
y
)
P
(
N
=
n
∣
Y
=
y
)
∫
−
∞
∞
f
Y
(
t
)
P
(
N
=
n
∣
Y
=
t
)
d
t
f_{Y|N}(y|n)=\cfrac{f_Y(y)P(N=n|Y=y)}{P_N(n)}=\cfrac{f_Y(y)P(N=n|Y=y)}{\displaystyle\int_{-\infin}^{\infin}f_Y(t)P(N=n|Y=t)dt}
fY∣N(y∣n)=PN(n)fY(y)P(N=n∣Y=y)=∫−∞∞fY(t)P(N=n∣Y=t)dtfY(y)P(N=n∣Y=y)
- 对于事件 A A A,关于 P ( A ∣ Y = y ) P(A|Y=y) P(A∣Y=y)和 f Y ∣ A ( y ) f_{Y|A}(y) fY∣A(y)具有类似的贝叶斯公式。
7. 几个特殊的连续随机变量
[
a
,
b
]
[a,b]
[a,b]上的连续均匀随机变量
f
X
(
x
)
=
{
1
b
−
a
,
若
a
≤
b
,
0
,
其
他
,
f_X(x)= \begin{cases} \cfrac{1}{b-a}, & 若 a\le b,\\ 0, &其他, \end{cases}
fX(x)=⎩⎨⎧b−a1,0,若a≤b,其他,
E [ X ] = a + b 2 , v a r ( X ) = ( b − a ) 2 12 E[X]=\cfrac{a+b}{2},\qquad var(X)=\cfrac{(b-a)^2}{12} E[X]=2a+b,var(X)=12(b−a)2
分布参数为
λ
\lambda
λ的指数随机变量
f
X
(
x
)
=
{
λ
e
−
λ
x
,
若
x
≥
0
,
0
,
其
他
,
F
X
(
x
)
=
{
1
−
e
−
λ
x
,
若
x
≥
0
,
0
,
其
他
,
f_X(x)= \begin{cases} \lambda e^{-\lambda x}, & 若x \ge 0,\\ 0, & 其他, \end{cases} \qquad F_X(x)= \begin{cases} 1-e^{-\lambda x}, &若x\ge 0,\\ 0, &其他, \end{cases}
fX(x)={λe−λx,0,若x≥0,其他,FX(x)={1−e−λx,0,若x≥0,其他,
E [ X ] = 1 λ , v a r ( X ) = 1 λ 2 E[X]=\cfrac{1}{\lambda},\qquad var(X)=\cfrac{1}{\lambda^2} E[X]=λ1,var(X)=λ21
分布参数为
μ
\mu
μ和
σ
2
>
0
\sigma^2>0
σ2>0的正态随机变量
f
X
(
x
)
=
1
2
π
σ
e
−
(
x
−
μ
)
2
2
σ
2
f_X(x)=\cfrac{1}{\sqrt{2\pi}\sigma}e^{-\cfrac{(x-\mu)^2}{2\sigma^2}}
fX(x)=2πσ1e−2σ2(x−μ)2
E [ X ] = μ , v a r ( X ) = σ 2 E[X]=\mu, \qquad var(X)=\sigma^2 E[X]=μ,var(X)=σ2