随机过程(方兆本,缪伯其)读书笔记-第一章-引论

第一章 引论

1.1 引言

1.1.1 基本概念和例子

定义1.1: 随机过程就是一族随机变量\({X(t), t \in T}\), 其中\(t\) 是参数, 属于某个指标集\(T\), \(T\) 称为参数集.

\(t\) 一般代表时间. 当\(T={0, 1, 2, ,...}\) 也称随机过程为随机序列.

随机变量定义在空间\(\Omega\) 上, 所以是随\(t\) 与\(\omega \in \Omega\) 而变化的, 可以记作\(X(t , \omega)\) .

• 固定一次随机实验, 即取定\(\omega_0 \in \Omega\) 时, \(X(t , \omega_0)\) 就是一条样本路径. 它是\(t\) 的函数.
• 固定时间\(t = t_0\) , \(X(t_0 , \omega)\) 就是一个随机变量, 其取值随着随机试验的结果而变化, 变化的规律叫做概率分布.

随机过程在\(t\) 所处的值称作是过程所处的状态, 状态的全体称为状态空间.

1.1.2 有限维分布和数学特征

随机过程\(\{X(t), t \in T\}\) 的一维分布: \(F_t(x) = P \{X(t) \le x\}\) .

随机过程\(X(t)\) 的均值函数: 期望\(E[X(t)]\) , 记作\(\mu_X (t)\) .

随机过程\(X(t)\) 的方差函数: 方差\(Var[X(t)]\) .

随机过程\(X(t)\) 的联合二维分布: \(F_{t_1, t_2} (x_1, x_2) = P\{X(t_1) \le x_1, X(t_2) \le x_2\}\) .

随机过程\(X(t)\) 的自相关函数: \(r_X(t_1, t_2) = E[X(t_1) X(t_2)]\) .

随机过程\(X(t)\) 的协方差函数: \(R_X(t_1, t_2) = Cov(X(t_1), X(t_2)) = E\{(X(t_1) - \mu_X (t_1))(X(t_2) - \mu_X (t_2))\}\) .

自相关函数和协方差函数都具有对称性, 且都是非负定的.

随机过程\(X(t)\) 的有限维分布族: \(F_{t_1,...,t_n} (x_1,...,x_n) = P\{X(t_1) \le x_1, ..., X(t_n) \le x_n\}, t_1,...,t_n \in T\) .

知道了随机过程的有限维分布族就知道了过程\(\{X(t), t \in T\}\) 中任意n个随机变量的联合分布, 也就完全了解了这些变量之间的相互依赖关系.

有限维分布有对称性, 与变量\(X(t_1), ..., X(t_n)\) 的排序无关.

有限维分布有相容性: \(F_{t_1, ..., t_m, t_{m+1}, ..., t_n}(x_1, ..., x_m, \infty, ..., \infty) = F_{t_1, ..., t_m}(x_1, ..., x_m), m \lt n\).

相容性基本定理: 若一族给定的分布函数上有对称性和相容性, 则存在一个随机过程\(\{X(t), t \in T\}\) , 使它的有限维分布族正好就是给定的分布函数族.

1.1.3 平稳过程和独立增量过程

同分布: 若两个随机变量\(X_1, X_2\) 的分布函数\(与F_{X_1}(x) 与 F_{X_2}(x)\) 对任何\(x\) 都是相等的, 则称它们是同分布的, 记作\(X_1 =^d X_2\) ; 类似地, 若两个随机向量有相同的联合分布, 也称它们是同分布的.

定义1.2 : 如果随机过程\(X(t)\) 对任意的\(t_1, ..., t_n \in T\) 和任何\(h\) 有\((X(t_1+h), ..., X(t_n+h))=^d (X(t_1), ..., X(t_n))\) , 则称为严格平稳的.

严格平稳的含义是, 处于某种概率平衡状态, 主要性质只与变化量\(X(t)\) 之间的时间间隔有关, 而与考察的起始点无关.

定义1.3 : 如果随机过程的所有二阶矩存在, 且有

• \(EX(t) = m\)
• \(R_X(t,s)\) 只与时间差\(t - s\) 有关.

则称该随机过程为宽平稳的或二阶矩平稳的.

对于宽平稳过程, 由于\(R_X(s, t) = R_X(0, t-s)\) , 可以记为\(R_X(t-s)\) .

对宽平稳过程, \(R_X(t)\) 是偶函数, 且\(R_X(0) = VarX(t)\) .

定义1.4 : 如果对任意\(t_1 \lt t_2 \lt ... \lt t_n, t_1, ..., t_n \in T\) , 随机变量\(X(t_2) - X(t_1), X(t_3) - X(t_2), ..., X(t_n) -X(t_{n-1})\) 是相互独立的, 则\(X(t)\) 称为独立增量过程.

如果进一步有对任意\(t_1, t_2, X(t_1+h) - X(t_1) =^d X(t_2+h) - X(t_2)\) , 则过程称为有平稳独立增量的过程.

平稳独立增量过程的均值函数一定是\(t\) 的线性函数.

1.2 条件期望和矩母函数

1.2.1 条件期望

离散型随机变量\(X,Y\) , 对所有使\(P\{Y=y\}\gt0\) 的\(y\) , 定义:

• 给定\(Y=y\) 时, \(X\) 取\(x\) 的条件概率为\(P\{X=x|Y=y\} = \frac{P(X=x,Y=y)}{P(Y=y)}\)
  
• 给定\(Y=y\) 时, \(X\) 的条件分布函数为\(F(x|y) = P\{X \le x | Y = y\}\)

连续型随机变量\(X, Y\) , 定义:

• 给定\(Y=y\) 时, \(X\) 的条件分布函数为\(F(x|y) = P\{X \le x | Y = y\} = \lim_{\Delta y \to 0} P(X \le x | Y \in \Delta y)\)
• 如果存在一个非负函数\(f(x|y)\) , 使得对任何集合\(A\) 恒有\(P(X \in A | Y = y) = \int_{A}f(x|y)dx\) , 且\(\int f(x|y)dx = 1\) , 则\(f(x|y)\) 称为在给定\(Y=y\) 时\(X\) 的条件密度.

条件密度与联合密度的关系: \(f(x,y) = f(x|y)f(y)\) , 其中\(f(y)\) 称为随机变量\(Y\) 的边缘密度.

给定\(Y=y\) , \(X\) 的条件期望定义为: \(E(X|Y=y) = \int x f(x|y)dx = \int xdF(x|y)\) .

命题1.1 : 条件期望的重要性质:

• 若\(X\) 与\(Y\) 独立, 则\(E(X|Y=y) = EX\) .
• 平滑性: \(EX = \int E(X|Y=y)dF_Y(y) = E[E(X|Y)]\) .
• 对随机变量\(X,Y\) 的函数\(\phi(X,Y)\) 恒有\(E[\phi(X,Y) | Y=y] = E[\phi(X,y) | Y=y]\) .

1.2.2 矩母函数及生成函数

定义1.5 : 随机变量\(X\) 的矩母函数定义为随机变量\(exp(tX)\) 的期望, 记作\(g(t) = E(exp(tX)) = \int exp\{tx\} dF(x)\) .

矩母函数存在时, 它唯一确定了\(X\) 的分布.

通过矩母函数易求出\(X\) 的各阶矩\(E[X^n] = g^{(n)}(0), n \ge 1\) .

定义1.6 : 若\(X\) 为离散随机变量, 则期望\(E(s^X)\) 为其概率生成函数, 记作\(\phi_X(s)\) . 特别地, 若\(P(X=k)=p_k, k=0,1,2,...\) , 则\(\phi_X(s)=\sum_{k=0}^{\infty}{p_k s^k}\) .

概率生成函数时以概率\(p_k\) 为系数的幂级数, 其与\(X\) 的概率分布也是一一对应的, 且有\(p_0 = \phi_X(0), p_k = \frac{1}{k!}\frac{d^k}{ds^k} \phi_X(s)|_{s=1}, k=1,2,...\) .

通过概论生成函数易求出\(X\) 的期望和有关高阶矩\(E\{X(X-1)...(X-r+1)\} = \frac{d^r}{ds^r}\phi_X(s)|_{s=1}\) .

对互相独立的随机变量\(X, Y\) , \(g_{X+Y}(t) = g_X(t) g_Y(t)\) , \(\phi_{X+Y}(s) = \phi_X(s) \phi_Y(s)\) .

1.3 收敛性

三种收敛:

• 设\(\{X_n, n \ge 1\}\) 是一列随机变量, 若存在随机变量\(X\) , 使得\(\forall \epsilon \gt 0, \lim_{n \to \infty}{P(|X_n - X| \ge \epsilon)} = 0\) , 则称随机变量序列\(\{X_n, n \ge 1\}\) 依概率收敛于\(X\), 记为\(X_n \to^p X\) .
• 若事件 \(\{\omega: \lim_{n \to \infty}{(X_n(\omega) - X(\omega))} = 0\}\) 的概率为1, 即\(P(\lim_{n \to \infty}{(X_n = X)} = 0) = 1\) , 则称随机变量序列\(\{X_n, n \ge 1\}\) 几乎必然收敛于\(X\) , 记为\(X_n \to X, a.s.\) , 也称随机变量序列以概率1收敛于\(X\).
• 设随机变量\(X\) 和\(X_n, n \ge 1\) , 都有有限的二阶矩, 如果\(\lim_{n \to \infty}{E(X_n - X)^2} = 0\) , 则称\(X_n\) 均方收敛于\(X\) , 记为\(X_n \to^{L_2} X\) .

以上三种收敛的关系:

• 均方收敛和几乎必然收敛都蕴涵依概率收敛, 反之不成立.
• 均方收敛和几乎必然收敛互不包含.

转载于:https://www.cnblogs.com/ayistar/p/7840386.html