随机过程初步

1. 定义

设 $(\Omega, \mathcal F,P)$ 是一个概率空间，对每个 $t\in T$（时间集），$X_t(w)$ 是定义在其上取值于 $(S,B)$ 上的随机变量（每一个不同的 $t$，对应一个不同的随机变量，随机过程是随机变量关于时间的函数），则称 $\{X_t;t\in T\}$为 $T$ 上的一个随机过程。

• $t$ 是时间，可以连续，也可为离散；
  • $X$ 为状态，可以连续，也可为离散；
  • 掷硬币（离散状态），电压值的变化（连续状态）

  一般我们在理解时，成 $X_t$ 是过程在时刻 $t$ 的状态，$X_t$ 的取值范围 $S$ 为状态空间，它不一定为实数空间，根据 $T$ 和 $S$ 的类型不同，又可将随机过程分为不同的类型。

  时间集的不同类型：

  • $[0, \infty)$：从当前时刻向前延伸；
  • $(-\infty, \infty)$：既可以向前，也可以向后；
  • $(a, b)$：某一个时间段（当然也可以是闭集合）
  • $\{0, 1, \ldots,n\}$：离散时间（有限或者无限）

  • 2. 多维随机变量与随机过程

    • 多维随机变量 $(\xi_1(w),\xi_2(w),\ldots,\xi_n(w))$，其联合分布函数为：

      $$F(x_1,x_2,\ldots,x_n)=P(\xi_1(w)\leq x_1,\xi_2(w)\leq x_2,\ldots,\xi_n(w)\leq x_n)$$

      不同的随机变量的联合；

    • 随机过程，$\{X_t;t\in T\}$，不再是分布函数，而是联合分布族（这里族对应的英文概念为 family，之所以称其为族，在于 $n$ 可以变化，$n\geq 1$）：

      $$F(t_1,t_2,\ldots,t_n,x_1,x_2,\ldots,x_n)=P(X_{t_1}(w)\lt x_1,\ldots,X_{t_n}(w)\lt x_n)$$

      同一随机过程在不同时刻得到不同的随机变量；

    3. 联合分布族的性质

    • 对称性： 对 $(1, 2, \ldots, n)$ 的任一排列 $(j_1, j_2, \ldots, j_n)$ 有：

      $$F(t_{j_1},t_{j_2}, \ldots,t_{j_n};x_{j_1},x_{j_2}, \ldots, x_{j_n})=F(t_1, t_2, \ldots, t_n; x_{1}, x_2, \ldots, x_n)$$
      在 $n$ 个时间点上所取得的 $n$ 个随机变量构成的联合分布（事件的相对顺序对概率没有影响，$A\cap B = B \cap A$）

    • 相容性：对任意 $1\leq m\lt n$ 和 $X_1, \ldots, X_n\in R$ 有：

      $$F(t_1, t_2, \ldots, t_m, t_{m+1}, \ldots, t_n; x_1, \ldots, x_m, \infty, \infty)=F(t_1, t_2, \ldots, t_m, t_{m+1}, \ldots, t_n; x_1, \ldots, x_m)$$
      也即是 $n$ 维退化为 $m$ 维联合分布；
      证明方法还是根据定义，$F(t_1, t_2, \ldots, t_m, t_{m+1}, \ldots, t_n; x_1, \ldots, x_m)=P(X_1\lt x_1, X_2\lt x_2, \ldots, X_n \lt \infty)$

    4. 随机过程的分类

    • 独立增量过程：对任意的 $t_0\lt t_1\lt \cdots \lt t_n, t_i\in T, i=1, 2, \ldots, n$，如果 $X_{t_1}-X_{t_0}, \cdots, X_{t_n}-X_{t_{n-1}}$ 是独立增量。
      
      • 平稳独立增量过程（平稳就是某种意义上的不变），时间差一定 ⇒
    • 平稳过程：
      
      • 强平稳过程：$(X_{t_1+h}, X_{t_2+h}, \ldots, X_{t_n+h})$ 都是同分布的，也即不随时间单位的平移而改变，也与平移任何的时间单位无关，联合分布都是同分布的；
      • 弱平稳过程：二阶矩过程，任意时间 $EX_t^2\lt \infty$，且 $C(s, t)=EX_sX_t-EX_sEX_t$仅依赖于 $|t-s|$ （两个随机变量的协方差）（既然具有平稳性，就要求某个性质不变）；
    • 更新过程：是在计数过程（点过程）概念的基础上定义的，也即需对计数过程强加一些新的限制，事件间的时间间隔（$t_2-t_1,t_3-t_2,\ldots, t_n-t_{n-1}$）独立同分布；