随机过程_chapter01_预备知识

样本空间

如果一个试验E,满足下列条件:

• (1) 在相同的条件下可以重复进行；
• (2) 每次试验的结果不止一个，并且能事先明确试验的所有结果；
• (3) 一次试验结束之前，不能确定哪一个结果会出现，称此试验为随机试验．

随机试验的所有结果所组成的集合称为该试验的样本空间，记为Ω

随机事件

定义(σ代数)：设随机试验E 的样本空间为Ω,F 是Ω的子集组成的集族，满足:

(1) Ω∈F ;
(2)若A∈F,则 $\bar{A}\in F$（对逆运算封闭）
(3)若A_i ∈F(i=1,2,…), ${\bigcup }_{i=1}^{\infty }{A}_iϵF$(对可列并运算封闭)

称F为Ω的一个σ-代数（事件体）, F 中的集合称为事件.

概率的公理化定义

设(Ω,F)是一可测空间，对A∈F定义在F上的实值集函数P(A), 满足:

(1)非负性:$\forall AϵF,P(A)>=0$
(2)规范性:P(Ω) = 1;
(3)完全可加性:$ϵF,A_i\cap A_j=\phi ,i!=j,有P({\cup }_{i=1}^{\infty }{A}_i)={\sum }_{i=1}^{\infty }P(A_i)$

称P是(Ω,F)上的概率(测度),P(A)是事件A的概率.三元体(Ω,F, P)称为概率空间.

概率的性质

设(Ω,F, P)是概率空间,则概率P 有如下性质:

(1) 非负性,P($\varphi$)=0
(2)可加性可列(有限)可加性:
(3)概率的连续性:

• 若$A_1\supset A_2\supset ...且{\bigcap }_{n=1}^{\infty }{A}_n=A,则:{\lim }_{n\to \infty }P(A_n)=P(A)$

条件分布

设(X,Y)的联合分布函数为F(x, y)，记
F Y ∣ X ( y ∣ x ) = P { Y < = y ∣ X = x } = lim ⁡ α , β → 0 + F ( x + β , y ) − F ( x − α , y ) F ( x + β , ∞ ) − F ( x − α , ∞ ) F_{Y | X}(y|x) = P\left \{ Y <= y | X=x \right \} \\ = \lim_{\alpha, \beta \to 0^{+}} \frac{F(x+\beta,y ) - F(x - \alpha , y)}{F(x+\beta,\infty ) - F(x - \alpha , \infty )} FY∣X​(y∣x)=P{Y<=y∣X=x}=α,β→0+lim​F(x+β,∞)−F(x−α,∞)F(x+β,y)−F(x−α,y)​

若极限存在，称为在X=x 的条件下,随机变量X的条件分布函数

离散型随机变量(X,Y), 在y=yk条件下X的条件分布函数为:
F X ∣ Y ( x ∣ y k ) = P { X < = x ∣ y = y k } = ∑ x i < = x P ( X = x i , Y = y j ) P ( Y = y k ) F_{X | Y}(x|y_k) = P\left \{ X <= x | y=y_k \right \} \\ =\frac{\sum_{x_i<= x}^{}P(X=x_i,Y=y_j) }{P(Y=y_k)} FX∣Y​(x∣yk​)=P{X<=x∣y=yk​}=P(Y=yk​)∑xi​<=x​P(X=xi​,Y=yj​)​
称为条件分布率

F Y ∣ X ( y ∣ x ) = P { Y < = y ∣ X = x } = ∫ − ∞ y f ( x , v ) d v f X ( x ) F_{Y | X}(y|x) = P\left \{ Y <= y | X=x \right \} \\ = \frac{\int_{-\infty }^{y} f(x,v)dv}{f_X(x)} FY∣X​(y∣x)=P{Y<=y∣X=x}=fX​(x)∫−∞y​f(x,v)dv​
$$f_{Y|X}(y|x)=F_{Y|X}^{{}^{\prime }}(y|x)=\frac{f(x,y)}{f_X(y)}$$
为在条件X=x 下, 随机变量Y 的条件密度函数.

数学期望,方差,协方差矩阵和相关系数矩阵

方差:

$$D(x)={\int }_{-\infty }^{+\infty }[x-E(x){]}^{2}dF(x)>=0$$

协方差矩阵

C i j = c o v ( X i , X j ) = E { [ X i − E ( x i ) ] [ X j − E ( x j ) ] } C_{ij} = cov(X_i, X_j) = E\left \{ [X_i - E(x_i)][X_j - E(x_j)] \right \} Cij​=cov(Xi​,Xj​)=E{[Xi​−E(xi​)][Xj​−E(xj​)]}
$$C=(C_{ij}{)}_{(n\ast n)}=\left(\begin{array}{ccc}{c}_{11}& \cdots & c_{1n}\\ ⋮& \ddots & c_{2n}\\ c_{n1}& \cdots & c_{nn}\end{array}\right)$$
$‘C‘为(X_1,X_2,X_3,....,X_n)$的协方差矩阵
$$\begin{gathered} cov(X)=E[(X-EX)(X-EX{)}^T] \\ cov(A.X)=A.cov(A).A^T \end{gathered}$$

数学期望与方差的性质

柯西不等式
$${E(XY)}^2<=E{X}^{2}E{Y}^2$$
等式成立的充要条件: $P(Y=a_{0}X)=1$

特征函数

定义:

设X是定义在(Ω,F, P )上的随机变量,称
$$\phi (t)=E(e^{itX})={\int }_{-\infty }^{+\infty }{e}^{itx}dF(x)$$
为X的特征函数

母函数

设X为非负整数值值得随机变量$P(X=k)=p_k$, 则X的母函数为:
$$g(s)=E{s}^x=\sum _{k=0}^{\infty },0<=s<=1$$
也叫做Z变换

母函数性质

• $P_k=g^{(}k)(0)/k!,E(x(x-1)...(x-k+1))=g^k(1)$
• $EX=g^{{}^{\prime }}(1);D(x)=g^{{}^{\prime \prime }}(1)+g^{{}^{\prime }}(1)-[g^{{}^{\prime }}(1){]}^2$

n维随机变量的特征函数

定义

$$\begin{gathered} \phi (t_1,t_2,t_3,...,t_n)=E{e}^{i{t}^{{}^{\prime }}X}=E[expi(t_1{x}_1+....+t_n{x}_n)] \\ ={\int }_{-\infty }^{+\infty }...{\int }_{-\infty }^{+\infty }{e}^{i(t_1{x}_1+....+t_n{x}_n)}dF(x_1,x_2,...,x_n)) \end{gathered}$$

首先看下关于二维正态分布的推导过程:
$$\begin{gathered} 首先看一下联合概率密度:f(x)=(2\pi {)}^{-\frac{n}{2}}\left|C\right|e^{-\frac{1}{2}(x-\mu {)}^{\prime }{C}^{-1}(x-\mu )} \\ 联合特征函数:\phi (u)=e^{i{\mu }^{{}^{\prime }}\mu -\frac{1}{2}{\mu }^{\prime }C\mu } \end{gathered}$$
其中:$X=(X_1,X_2,X_3,...,X_n{)}^{{}^{\prime }}\sim N(\mu )$
$\mu =({\mu }_1,{\mu }_2,....,{\mu }_n{)}^{{}^{\prime }}$
$C=(c_{ij}{)}_{n\ast n},c_{ij}=cov(X_i,X_j)$
其中$PC{P}^{\prime }=\wedge =,P为正交矩阵,\wedge 为对角矩阵$
设$Y\sim N(0,\wedge )=N(0,\left[\begin{array}{cccc}{\lambda }_1& 0& 0& 0\\ 0& {\lambda }_2& 0& 0\\ ..& ..& ....& ..\\ 0& 0& 0& {\lambda }_4\end{array}\right])(其中,{\lambda }_k为常数),则f(y)=(2\pi {)}^{-\frac{n}{2}}\left|{\wedge }^{-\frac{1}{2}}\right|exp\left\{-\frac{1}{2}{y}^{\prime }{\wedge }^{-1}y\right\}$
对于$Y\sim N(0,1),其特征函数为g_X(t)=e^{-\frac{t^2}{2}},同理,对于Y\sim N(0,\wedge ),则由函数的性质可知:$
$$\begin{gathered} {\varphi }_Y(u)=exp(-\frac{u^{{}^{\prime }}\wedge u}{2}) \\ =\prod _{k=1}^{n}exp(\frac{-{\lambda }_k}{2}{u}_k^2) \\ =exp(-\frac{1}{2}{u}^{{}^{\prime }}PC{P}^{{}^{\prime }}u) \end{gathered}$$
令$X=P^{{}^{\prime }}Y+\mu ,则Y=P(X-\mu ),而f(x)多维随机概率密度为:$
$f(x)=(2\pi {)}^{-\frac{n}{2}}|C{|}^{-\frac{1}{2}}\exp \left\{-\frac{1}{2}(x-\mu {)}^{\prime }{C}^{-1}(x-\mu )\right\}$
对于多维随机变量的Y=AX+b特征函数:${\phi }_Y(u)=e^{i{b}^{T}u}{\phi }_X(A^{T}u)$
$$\begin{gathered} {\varphi }_X(u)=E[e^{iuX}]=E[e^{(P^{{}^{\prime }}Y+\mu )iu}] \\ =e^{i\mu u^{{}^{\prime }}}E[e^{iu{P}^{{}^{\prime }}Y}] \\ ={\varphi }_Y(Pu) \\ =e^{i\mu u^{{}^{\prime }}}{e}^{-\frac{1}{2}{u}^{{}^{\prime }}Cu} \end{gathered}$$

性质

1.设 $X=(X_1,X_2,X_3,..,X_n)$是n维正态随机变量，则相互独立的充分必要条件是它们两两互不相关，即
cov(Xj,xk) = 0
2.正态随机变量的线性变换仍是正态随机变量:
$$若X\sim N(\mu ,C),Y=KX,则:Y\sim N(K\mu ,KC{K}^T)$$
3.$X=(X_1,X_2,....,X_n{)}^{\prime }\sim N(\mu ,C),设Y={\sum }_{k=1}^n{a}_k{X}_k,其中a_k,k=1,2,...,n为常数:$
$Y\sim N\left({\sum }_{k=1}^n{a}_k{\mu }_k,{\sum }_{j-1}^n{\sum }_{k=1}^n{a}_j{a}_k\mathrm{cov}\left(X_j,X_k\right)\right)$

条件数学期望

设(X, Y)是二维随机变量,条件分布函数.$F_{Y\mid X}(y\mid x)\text{ 或 }{\mathbf{F}}_{\mathbf{X}\mid \mathbf{Y}}(\mathbf{x}\mid y)$,若
$${\int }_{-\infty }^{+\infty }|\mathbf{y}|\mathbf{d}{\mathbf{F}}_{\mathbf{Y}\mid \mathbf{X}}(\mathbf{y}\mid \mathbf{x})<\infty \text{ 或 }{\int }_{-\infty }^{+\infty }|\mathbf{x}|\mathbf{d}{\mathbf{F}}_{\mathbf{X}\mid \mathbf{Y}}(\mathbf{x}\mid \mathbf{y})<\infty$$
称为在X=x的条件下,随机变量X的条件数学期望

条件数学期望性质

(1):$E(c\mid Y)=c,c\text{ 是常数; }$
(2):$E[aX+bY\mid Z]=a\mathrm{E}(X\mid Z)+bE(Y\mid Z),a,b\text{ 是常数 }$
(3):$\text{ 如果 }\mathbf{X}\text{ 与Y相互独立, 则 }E(X\mid Y)=E(X)\text{. }$

(4)$\begin{array}{l}E[g(X)h(Y)\mid X]=g(X)E[h(Y)\mid X]\\ E[g(X)h(Y)\mid Y]=h(Y)E[g(X)\mid Y]\end{array}$

(5) E { E [ g ( X , Y ) ∣ Y ] } = E [ g ( X , Y ) ] E\{E[g(X, Y) \mid Y]\}=E[g(X, Y)] E{E[g(X,Y)∣Y]}=E[g(X,Y)]
(6)$E[X-E(X\mid Y){]}^2\le E[X-g(Y){]}^2$

条件方差

方差:$\mathrm{Var}(X)=E\left[(X-\mu {)}^2\right]=E\left(X^2\right)-[E(X){]}^2$

条件方差: $\mathrm{Var}(X\mid Y)=E\left[(X-E(X\mid Y){)}^2\mid Y\right]=E\left(X^2\mid Y\right)-[E(X\mid Y){]}^2$

条件推导过程:

$$\mathrm{Var}(X\mid Y)=E\left[(X-E(X\mid Y){)}^2\mid Y\right]=E\left(X^2\mid Y\right)-[E(X\mid Y){]}^2$$

方差分解:

$$\mathrm{Var}(X)=\mathrm{Var}[E(X\mid Y)]+E[\mathrm{Var}(X\mid Y)]$$

证明: 对于一个随机变量X,定义:
$$g(Y)=E(X\mid Y),ϵ=X-g(Y)$$
推导可知:
$$E(ϵ)=E(X)-E[E(X\mid Y)]=0$$
此时,X的方差:
$$\mathrm{Var}(X)=\mathrm{Var}[g(Y)+ϵ]=\mathrm{Var}[g(Y)]+\mathrm{Var}(ϵ)+2\mathrm{Cov}[g(Y),ϵ]$$
根据协方差定义:
$$\mathrm{Cov}[g(Y),ϵ]=E[[g(Y)-E(g(Y))][ϵ-E(ϵ)]]=0$$
又:
$$\mathrm{Var}(ϵ)=E[X-g(Y){]}^2=E\left[X^2+g(Y{)}^2-2Xg(Y)\right]=E\left[E\left[X^2\mid Y\right]-g\left(Y^2\right)\right]=E[\mathrm{Var}(X\mid Y)]$$
得证