随机过程相关知识在自己的学习生活中经常用到,所以就结合b站上相关的视频和自己以前学过的一些基础,再简单复习一下随机过程。由于自己是工科生,理解肯定有许多不到位的地方,还请多谅解。
概念
可测空间
设集合 Ω \Omega Ω为样本空间, F \mathcal{F} F为 Ω \Omega Ω的某些子集的集合,满足:
- Ω ∈ F \Omega\in\mathcal{F} Ω∈F;
- 若 A ∈ F A\in \mathcal{F} A∈F,则 A ‾ ∈ F \overline A \in \mathcal{F} A∈F;
- 若 A n ∈ F , n = 1 , 2 , ⋯ A_{n} \in \mathcal{F},n=1,2,\cdots An∈F,n=1,2,⋯,则 ∪ n = 1 + ∞ A n ∈ F \cup_{n=1}^{+ \infty}A_{n}\in \mathcal{F} ∪n=1+∞An∈F,
则称 F \mathcal{F} F称为一个事件 σ \sigma σ域,称 F \mathcal{F} F中的元素为随机事件,称 ( Ω , F ) (\Omega,\mathcal{F}) (Ω,F)为一个可测空间。
概率与概率空间
设
(
Ω
,
F
)
(\Omega,\mathcal{F})
(Ω,F)为一个可测空间,
P
:
F
→
[
0
,
1
]
P:\mathcal{F} \rightarrow [0,1]
P:F→[0,1],满足:
1.
P
(
Σ
)
=
1
P(\Sigma)=1
P(Σ)=1;
2.
∀
A
∈
F
,
0
≤
P
(
A
)
≤
1
\forall A \in \mathcal{F},0 \leq P(A)\leq1
∀A∈F,0≤P(A)≤1;
3. 对
A
n
∈
F
A_{n} \in \mathcal{F}
An∈F且
A
i
A
j
=
∅
A_{i}A_{j}=\varnothing
AiAj=∅,有
P
(
∑
n
=
1
+
∞
)
P
(
A
n
)
P(\sum_{n=1}^{+\infty})P(A_{n})
P(∑n=1+∞)P(An),
则称
P
P
P为
(
Σ
,
F
)
(\Sigma,\mathcal{F})
(Σ,F)上的一个概率(测度),称
(
Ω
,
F
,
P
)
(\Omega,\mathcal{F},P)
(Ω,F,P) 为一个概率空间。
概率的连续性:若 ∀ n , A n ∈ A n + 1 \forall n,A_{n} \in A_{n+1} ∀n,An∈An+1,则 lim n → ∞ P ( A n ) = P ( ⋃ n = 1 ∞ A n ) \lim \limits_{n \to \infty} P(A_{n})=P(\bigcup \limits_{n=1}^{\infty}A_{n}) n→∞limP(An)=P(n=1⋃∞An)
条件概率
设
(
Ω
,
F
,
P
)
(\Omega,\mathcal{F},P)
(Ω,F,P)为一个概率空间,
A
∈
F
,
P
(
A
)
>
0
A \in \mathcal{F},P(A)>0
A∈F,P(A)>0,对
∀
B
∈
F
\forall B \in \mathcal{F}
∀B∈F,另
P
(
B
∣
A
)
=
P
(
A
B
)
P
(
A
)
P(B|A)=\frac{P(AB)}{P(A)}
P(B∣A)=P(A)P(AB),则
P
(
⋅
∣
A
)
P(\cdot | A)
P(⋅∣A)为
(
Ω
,
F
)
(\Omega,\mathcal{F})
(Ω,F)上的一个概率测度,称为条件概率测度。
一些结论:
- 乘积公式:对 A , B ∈ F A,B \in \mathcal{F} A,B∈F,有 P ( A B ) = P ( A ) P ( B ∣ A ) P(AB)=P(A)P(B|A) P(AB)=P(A)P(B∣A).
- 全概率公式:对 A n , B ∈ F , P ( A n ) > 0 , n = 1 , 2 , ⋯ , Ω = ∑ n A n A_{n},B \in \mathcal{F}, P(A_{n})>0, n=1,2,\cdots,\Omega=\sum_{n}A_{n} An,B∈F,P(An)>0,n=1,2,⋯,Ω=∑nAn,则 P ( B ) = ∑ n P ( A n ) P ( B ∣ A n ) P(B)=\sum\limits_{n} P(A_{n})P(B|A_{n}) P(B)=n∑P(An)P(B∣An).
- 条件概率下的全概率公式: A n , B , C ∈ F , n = 1 , 2 , ⋯ , Ω = ∑ n A n A_{n},B,C \in \mathcal{F},n=1,2,\cdots,\Omega=\sum_{n}A_{n} An,B,C∈F,n=1,2,⋯,Ω=∑nAn,则 P ( B ∣ C ) = ∑ n P ( A n ∣ C ) P ( B ∣ A n C ) P(B|C)=\sum\limits_{n}P(A_{n}|C)P(B|A_{n}C) P(B∣C)=n∑P(An∣C)P(B∣AnC)
独立性
设
(
Ω
,
F
,
P
)
(\Omega,\mathcal{F},P)
(Ω,F,P)为一个概率空间,
I
I
I为一个指标集,
{
A
i
}
i
∈
I
∈
F
\{A_{i}\}_{i \in I} \in \mathcal{F}
{Ai}i∈I∈F为一族事件。若对任意的
n
∈
N
,
n
≥
2
n \in \mathbb{N},n\geq 2
n∈N,n≥2,和任意
I
I
I中互异的指标
i
1
,
i
2
,
⋯
,
i
n
i_{1},i_{2},\cdots,i_{n}
i1,i2,⋯,in,都有:
P
(
⋂
k
=
1
n
A
i
k
)
=
∏
k
=
1
n
P
(
A
i
k
)
P(\bigcap\limits_{k=1}^{n}A_{ik})=\prod\limits_{k=1}^{n}P(A_{ik})
P(k=1⋂nAik)=k=1∏nP(Aik),则称
{
A
i
}
i
∈
I
\{ A_{i}\}_{i \in I}
{Ai}i∈I相互独立。
随机变量
设 ( Ω , F ) (\Omega,\mathcal{F}) (Ω,F)为一个可测空间, X = ( X 1 , X 2 , ⋯ , X n ) : ( Ω , F ) → ( R n , B ( R n ) ) X=(X_{1},X_{2},\cdots,X_{n}):(\Omega,\mathcal{F})\rightarrow (\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n})) X=(X1,X2,⋯,Xn):(Ω,F)→(Rn,B(Rn))为可测函数,则称 X X X为一个 n n n维(实值)随机变量。
随机变量的独立性
设 X = ( X 1 , X 2 , ⋯ , X n ) X=(X_{1},X_{2},\cdots,X_{n}) X=(X1,X2,⋯,Xn)为 ( Ω , F , P ) (\Omega,\mathcal{F},P) (Ω,F,P)上的一个 n n n维R.V.,若对任意 B 1 , B 2 , ⋯ , B n ∈ B ( R ) B_{1},B_{2},\cdots,B_{n} \in B(\mathbb{R}) B1,B2,⋯,Bn∈B(R),有 P ( X ∈ B 1 × B 2 × ⋯ × B n ) = ∏ k = 1 n F X k ( x k ) P(X\in B_{1} \times B_{2} \times \cdots \times B_{n})=\prod\limits_{k=1}^{n}F_{X_{k}}(x_{k}) P(X∈B1×B2×⋯×Bn)=k=1∏nFXk(xk),则称 X 1 , X 2 , ⋯ , X n X_{1},X_{2},\cdots,X_{n} X1,X2,⋯,Xn相互独立。
随机变量的数字特征
设
X
X
X为
Ω
,
F
,
P
\Omega,\mathcal{F},P
Ω,F,P上的一个R.V.,称
D
(
X
)
=
E
(
X
−
E
(
X
)
)
2
D(X)=E(X-E(X))^{2}
D(X)=E(X−E(X))2为
X
X
X的方差;
设
(
X
,
Y
)
(X,Y)
(X,Y)为
(
Ω
,
F
,
P
)
(\Omega,\mathcal{F},P)
(Ω,F,P)上的一个二维R.V.,称
c
o
v
(
X
,
Y
)
=
E
(
(
X
−
E
(
X
)
)
(
Y
−
E
(
Y
)
)
)
cov(X,Y)=E((X-E(X))(Y-E(Y)))
cov(X,Y)=E((X−E(X))(Y−E(Y)))为
X
,
Y
X,Y
X,Y的协方差;
设
X
=
(
X
1
,
X
2
,
⋯
,
X
n
)
X=(X_{1},X_{2},\cdots,X_{n})
X=(X1,X2,⋯,Xn)为
(
Ω
,
F
,
P
)
(\Omega,\mathcal{F},P)
(Ω,F,P)上的一个
n
n
n维R.V.,称
μ
=
(
μ
1
,
μ
2
,
⋯
,
μ
n
)
\mu=(\mu_{1},\mu_{2},\cdots,\mu_{n})
μ=(μ1,μ2,⋯,μn)为
X
X
X的均值向量,其中
μ
i
=
E
(
X
i
)
,
i
=
1
,
2
,
⋯
,
n
\mu_{i}=E(X_{i}),i=1,2,\cdots,n
μi=E(Xi),i=1,2,⋯,n;
称 Γ = ( σ i j ) n × n \Gamma=(\sigma_{ij})_{n\times n} Γ=(σij)n×n为 X X X的协方差矩阵,其中 σ i j = c o v ( X i , X j ) \sigma_{ij}=cov(X_{i},X_{j}) σij=cov(Xi,Xj), i , j = 1 , 2 , ⋯ , n i,j=1,2,\cdots,n i,j=1,2,⋯,n.
定义里数学符号比较多,我一开始也分不清。便于理解,可以简单的看成 E E E是事件, S S S是样本空间,再当作工科概率论算就行。
常用的定理等
极限理论
- 强大数定律:
x 1 , x 2 , ⋯ , x n x_{1},x_{2},\cdots,x_{n} x1,x2,⋯,xn均值为 μ \mu μ,则:
P { lim n → ∞ x 1 + x 2 + ⋯ + x n n = μ } P\{ \lim \limits_{n \to\infty} \frac{x_{1}+x_{2}+\cdots+x_{n}}{n}=\mu \} P{n→∞limnx1+x2+⋯+xn=μ}=1
P { lim n → ∞ 1 n ∑ i = 1 n ( x i − E ( X ) = 0 } = 1 P\{ \lim \limits_{n \to \infty} \frac{1}{n} \sum_{i=1}^{n} (x_{i}-E(X) =0 \}=1 P{n→∞limn1∑i=1n(xi−E(X)=0}=1 - 中心极限定理:
x 1 , x 2 , ⋯ , x n x_{1},x_{2},\cdots,x_{n} x1,x2,⋯,xn独立同分布,均值 u u u,方差 σ 2 \sigma^{2} σ2,则:
lim n → ∞ P { ( x 1 + x 2 + ⋯ + x n ) − n μ σ / n ≤ a } = ∫ − ∞ a 1 2 π σ e − x 2 2 d x \lim \limits_{n \to \infty}P\{ \frac{(x_{1}+x_{2}+\cdots+x_{n})-n\mu}{\sigma/\sqrt{n}} \leq a \}=\int_{-\infty}^{a} \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{x^{2}}{2}}dx n→∞limP{σ/n(x1+x2+⋯+xn)−nμ≤a}=∫−∞a2πσ1e−2x2dx
常用不等式
-
Markov不等式
∀ a > 0 , P { X ≥ a } ≤ E ( X ) a \forall a>0,P\{ X\geq a\}\leq \frac{E(X)}{a} ∀a>0,P{X≥a}≤aE(X) -
Jenson不等式
凸函数: E ( f ( X ) ) ≥ f ( E ( X ) ) E(f(X))\geq f(E(X)) E(f(X))≥f(E(X))
凹函数: E ( f ( X ) ) ≤ f ( E ( X ) ) E(f(X))\leq f(E(X)) E(f(X))≤f(E(X))
常见的一维分布
- 二项分布 B ( n , p ) B(n,p) B(n,p), P ( X = k ) = C n k p k ( 1 − p ) n − k , k − 1 , 2 , ⋯ , n P(X=k)=C_{n}^{k}p^{k}(1-p)^{n-k},k-1,2,\cdots,n P(X=k)=Cnkpk(1−p)n−k,k−1,2,⋯,n.
- Poisson分布 P ( λ ) , P ( X = k ) = e − λ λ k k ! , k = 0 , 1 , ⋯ P(\lambda),P(X=k)=e^{-\lambda}\frac{\lambda^{k}}{k!},k=0,1,\cdots P(λ),P(X=k)=e−λk!λk,k=0,1,⋯.
- 均匀分布 U ( a , b ) U(a,b) U(a,b), f ( x ) = 1 b − a X ( a , b ) ( x ) f(x)=\frac{1}{b-a}\mathcal{X}_{(a,b)}(x) f(x)=b−a1X(a,b)(x).
- 指数分布 E ( λ ) , f ( x ) = λ e − λ x X ( 0 , + ∞ ) ( x ) E(\lambda),f(x)=\lambda e^{-\lambda x}\mathcal{X}_{(0,+\infty)}(x) E(λ),f(x)=λe−λxX(0,+∞)(x).
- 正态分布 N ( μ , σ 2 ) , f ( x ) = 1 2 π σ e x p { − ( x − μ ) 2 2 σ 2 } N(\mu,\sigma^{2}),f(x)=\frac{1}{\sqrt{2\pi}\sigma}exp\{ -\frac{(x-\mu)^{2}}{2\sigma^{2}} \} N(μ,σ2),f(x)=2πσ1exp{−2σ2(x−μ)2}.