随机过程 更新过程（上）

随机过程 更新过程

更新过程的定义及若干分布

更新过程：Poisson 过程的 $X_i$ 服从参数为 $\lambda$ 的指数分布。这里我们进行推广，保留 $X_i$ 的独立性同分布性，而允许任意分布，这样的过程称为更新过程。数学定义为：设 { X n ,   n = 1 ,   2 ,   ⋯   } \{X_n,\,n=1,\,2,\,\cdots\} {Xn​,n=1,2,⋯} 是一列独立同分布的非负随机变量，分布函数为 $F(x)$ （为了避免平凡的情况，设 $F(0)=P(X_n=n)\ne 1$），记 $\mu =E(X_n)={\int }_0^{\infty }xF(x)dx$ ，则 $0<\mu \le \infty$ ；令 $T_n=\sum _{i=1}^n{X}_i,n\ge 1,T_0=0$ ，我们把由
N ( t ) = sup ⁡ { n :   T n ≤ t } N(t)=\sup\{n:\,T_n\leq t\} N(t)=sup{n:Tn​≤t}
定义的计数过程称为更新过程。

例：机器零件的更换，每个零件的寿命为 $X_i$ ，一个坏了就换另一个，那么到 $t$ 时刻为止所更换的零件数目就构成一个更新过程。

$N(t)$ 的分布及 $E[N(t)]$ 的性质

问题：在有限时间 $[0,t]$ 内是否会发生无穷多次更新，即 $N(t)=\infty$ ；答案是不会发生这种情况的概率为 $1$ 。由强大数定律可知：
$$\frac{\sum _{i=1}^n{X}_i}{n}=\frac{T_n}{n}\to \mu$$
而 $0<\mu \le \infty$ ，所以当 $n\to \infty$ 时，$T_n\to \infty$ ，也就是说无穷多次更新只可能在无限长的时间内发生，也就是以概率为 $1$ 有 $N(t)<\infty$ .

N(t)的分布 ：注意到 $N(t)\ge n=T_n\le t$ ，因此有：
$$\begin{array}{rl}P(N(t)=n)=& P(N(t)\ge n)-P(N(t)\ge n+1)\\ =& P(T_n\le t)-P(T_{n+1}\le t)\\ =& P(\sum _{i=1}^n{X}_i\le t)-P(\sum _{i=1}^{n+1}{X}_i\le t)\end{array}$$
计 $F_n$ 为 $T_n$ 的分布，则 $F_n$ 是 $F$ 的 $n$ 重卷积，所以：
$$P(N(t)=n)=F_n(t)-F_{n+1}(t)$$
E[N(t)]的分布 ：记 $M(t)=E[N(t)]$ ，称为更新函数。注意 $M(t)$是关于 $t$ 的函数 ，而不是随机变量。由定义可知：
$$\begin{array}{rl}M(t)=& \sum _{i=1}^{n}nP(N(t)=n)\\ =& \sum _{i=1}^{n}n(F_n(t)-F_{n+1}(t))\\ =& \sum _{i=1}^n{F}_n(t)\end{array}$$
Th ：$M(t)$ 的是 $t$ 的不减函数，且对 $0\le t<+\infty$ ，$M(t)<+\infty$ 。

证明 ：因为 $N(t)$ 是关于 $t$ 不减的，因此 $M(t)$ 关于 $t$ 也一定是不减的。
假设 $F(0)<1$ ，即 $P(X_n=0)<1$ （或$P(X_n>0)>0$），则存在 $a$ ，使得 $P(X_n\ge a)>0$ 且 $P(X_n<a)<1$ 。而
$$F(a)=P(X_n\le a)=P(X_n=a)+P(X_n<a)$$
为了避免 $P(X_n\ge a)=P(X_n=a)$ 的情况，我们取 $0<b<a$ ，显然：
$$F(b)\le P(X_n<a)<1$$
下面通过三个不等式来证明 M(t) 是有限的：

① 对于任意 $t$ ，恒能找到正整数 $k$ 使得 $t\le bk$ ，所以：
{ T k ≤ t } ⊆ { T k ≤ b k } ⊂ { X 1 > b ,   X 2 > b ,   ⋯   ,   X k > b } c \{T_k\leq t\}\subseteq\{T_k\leq bk\}\subset\{ X_1>b,\,X_2>b,\,\cdots,\, X_k>b\}^c {Tk​≤t}⊆{Tk​≤bk}⊂{X1​>b,X2​>b,⋯,Xk​>b}c
记 $\beta =(1-F(b){)}^k>0$ ，有：
$$\begin{array}{r}P(T_k\le t)<1-(1-P(X_i\le b){)}^k=1-(1-F(b){)}^k=1-\beta \end{array}$$
② 对于任意正整数 $m$ ，有：（组间放缩）
{ T m k ≤ t } ⊂ { T k − T 0 ≤ t ,   T 2 k − T k ≤ t ,   ⋯   ,   T m k − T ( m − 1 ) k ≤ t } \{T_{mk}\leq t\}\subset \{T_k-T_0\leq t,\,T_{2k}-T_k\leq t,\,\cdots,\,T_{mk}-T_{(m-1)k}\le t \} {Tmk​≤t}⊂{Tk​−T0​≤t,T2k​−Tk​≤t,⋯,Tmk​−T(m−1)k​≤t}
由更新区间的独立同分布（其实就是 $X_i$ 之间的相互独立同分布），有：
$$P(T_{mk}\le t)<(P(T_k\le t){)}^m<(1-\beta {)}^m$$
③ 对任意正整数 $j$ 有：（组内放缩）
{ T m k + j ≤ t } ⊂ { T m k ≤ t } \{ T_{mk+j}\leq t \}\subset \{T_{mk}\leq t\} {Tmk+j​≤t}⊂{Tmk​≤t}

即：
$$P(T_{mk+j}\le t)<P(T_{mk}\le t)$$
综上，有：（相当于把后边无穷多个元素分成 $k$ 个一组，然后用 ② 和 ③ 进行放缩）
$$\begin{array}{rl}M(t)=& \sum _{n=1}^{\infty }{F}_n(t)\\ =& \sum _{n=1}^{\infty }P(T_n\le t)\\ =& \sum _{n=1}^{k-1}P(T_n\le t)+\sum _{n=k}^{\infty }P(T_n\le t)\\ =& \sum _{n=1}^{k-1}P(T_n\le t)+\sum _{m=1}^{\infty }\sum _{j=0}^{k-1}P(T_{mk+j}\le t)\\ <& \sum _{n=1}^{k-1}P(T_n\le t)+\sum _{m=1}^{\infty }kP(T_{mk}\le t)\\ <& \sum _{n=1}^{k-1}P(T_n\le t)+\sum _{m=1}^{\infty }k(1-\beta {)}^m\\ =& \sum _{n=1}^{k-1}P(T_n\le t)+\frac{k}{\beta }<\infty \end{array}$$
因此对于任意有限的 $t$ ，$M(t)$ 也是有限的。

例：考虑一个时间离散的更新过程 { N j ,   j = 1 ,   2 ,   ⋯   ,   } \{N_j,\,j=1,\,2,\,\cdots,\,\} {Nj​,j=1,2,⋯,}，在每个时刻独立进行 Bernoulli 试验，成功的概率为 $p$ ，失败的概率为 $q=1-p$ 。以试验成功作为事件（更新），求该更新过程的更新函数。

解：更新的时间间隔满足几何分布，即：
$$P(X_i=n)=q^{n-1}p$$
则第 $r$ 次成功（更新）的时刻 $T_r$ 服从 Pascal 分布（负二项分布），有：
$$P(T_r=n)=C_{n-1}^{r-1}{q}^{n-r}{p}^{r}n=r,r+1,\cdots$$
因此，有：
$$\begin{array}{rl}& P(N(m)=r)\\ =& P(T_r\le m)-P(T_{r+1}\le m)\\ =& \sum _{n=r}^m{C}_{n-1}^{r-1}{q}^{n-r}{p}^r-\sum _{n=r+1}^m{C}_{n-1}^r{q}^{n-r-1}{p}^{r+1}\end{array}$$
所以更新函数为：
$$M(t)=E[N(t)]=\sum _{r=1}^{t}rP(N(t)=r)$$
（这里求和 $r$ 只需要到 $t$ ，因为是离散化的时间，$t$ 时间内最多更新 $t$ 次）

更新方程及其应用

更新方程

更新密度：更新函数的导出存在时，称其导数为更新密度，记为 $m(t)$ 。由 $M(k)=\sum _{n=1}^{\infty }{F}_n(t)$ 得：
$$m(t)=\sum _{n=1}^{\infty }{f}_n(t)$$
Th：更新函数和更新密度分别满足以下积分方程：
$$\begin{array}{c}M(t)=F(t)+{\int }_0^{t}M(t-s)dF(s)\\ m(t)=f(t)+{\int }_0^{t}m(t-s)f(s)ds\end{array}$$
证明 ：由定义得，以 $\ast$ 代表卷积操作：
$$\begin{array}{rl}M(t)=& \sum _{n=1}^{\infty }{F}_i(t)=F(t)+\sum _{n=2}^{\infty }{F}_n(t)\\ =& F(t)+\sum _{n=2}^{\infty }{F}_{n-1}(t)\ast F(t)\\ =& F(t)+(\sum _{n=1}^{\infty }{F}_n(t))\ast F(t)\\ =& F(t)+M\ast F(t)\end{array}$$
有 $M\ast F(t)={\int }_0^{t}M(t-s)dF(s)$ ，因此得到上边的方程。第二个方程由第一个方程求导得到。

更新方程：具有以下形式的积分方程称为更新方程：
$$K(t)=H(t)+{\int }_0^{t}K(t-s)dF(s)$$
式中，$H(t)$ 和 $F(t)$ 已知，且当 $t<0$ 时，有 $H(t)=F(t)=0$ 。当 $H(t)$ 在任意区间内均有界时，称为适定更新方程，简称为更新方程。

卷积的性质：设 $B(t)$ 是单调递增的右连续函数且 $B(0)=0$（比如分布函数）；$C(t)$ ，$C_1(t)$ ，$C_2(t)$ 为光滑有界函数（这些条件保证了卷积有定义），则有：

• $\underset{0\le t\le T}{\max }|B\ast C(t)|\le B(t)\cdot \underset{0\le t\le T}{\max }|C(t)|$ ；
• $B\ast C_1(t)+B\ast C_2(t)=B\ast (C_1+C_2)(t)$ ；（分配律）
• $B_1\ast (B_2\ast C)(t)=(B_1\ast B_2)C(t)$ ；（结合律）

Th：设更新方程中 $H(t)$ 为有界函数，则方程存在唯一的在有限区间内有界的解：
$$K(t)=H(t)+{\int }_0^{t}H(t-s)dM(s)$$
式中 $M(t)=\sum _{n=1}^{\infty }{F}_n(t)$ ，为 $F(t)$ 的更新函数。

证明：

① 证明该解是有界的：由前边的定理可知，更新函数 $M(t)$ 有界不减，所以 $\forall T>0$ ，有：（最后一步是因为 $M(t)$ 和 $H(t)$ 都是有界的）
$$\underset{0\le t\le T}{\sup }|K(t)|\le \underset{0\le t\le T}{\sup }|H(t)|+{\int }_0^T\underset{0\le s\le T}{\sup }|H(T-s)|dM(s)\le (1+M(T))\underset{0\le t\le T}{\sup }|H(t)|<\infty$$
所以在有界区间上 $K(t)$ 是有界的。

② 证明该解确实是更新方程的解：该解满足更新方程
$$\begin{array}{rl}K(t)=& H(t)+M\ast H(t)\\ =& H(t)+(\sum _{n=1}^{\infty }{F}_n)\ast H(t)\\ =& H(t)+F\ast H(t)+(\sum _{n=2}^{\infty }{F}_n)\ast H(t)\\ =& H(t)+F\ast H(t)+\left(\sum _{n=2}^{\infty }(F_{n-1}\ast F)\right)\ast H(t)\\ =& H(t)+F\ast [H(t)+(\sum _{n-1}^{\infty }{F}_n)\ast H(t)]\\ =& H(t)+F\ast K(t)\\ =& H(t)+{\int }_0^{t}K(t-s)dF(s)\end{array}$$
yes！

③ 证明该解的唯一性：设有另外一解 $\tilde{K}$ 是更新方程的解，并且满足有界性条件，则其满足：
$$\tilde{K}(t)=H(t)+F\ast \tilde{K}(t)$$
连续代换 $\tilde{K}(t)$ ，有：（有点像是递归表达式求解通项时不断展开的意思）
$$\begin{array}{rl}\tilde{K}(t)=& H(t)+F\ast (H+F\ast \tilde{K})(t)\\ =& H(t)+F\ast H(t)+F_2\ast \tilde{K}(t)\\ =& H(t)+F\ast H(t)+F_2\ast (H+F\ast \tilde{K})\\ =& \cdots \\ =& H(t)+(\sum _{i=1}^n{F}_i)\ast H(t)+F_n\ast \tilde{K}(t)\end{array}$$
对任何 $t$ ，有：
$$|F_n\ast \tilde{K}|=\left|{\int }_0^t\tilde{K}(t-x)d{F}_n(x)\right|\le \underset{0\le x\le t}{\sup }|\tilde{K}(t-x)|\cdot F_n(t)$$
我们本来假定 $\tilde{K}(t)$ 是有界的，而且更新函数 $M(t)=\sum _{n=1}^{\infty }{F}_n(t)$ 之前证明过就是有界的，那么有 $\underset{n\to \infty }{\lim }{F}_n(t)=0$ ，因此：
$$\tilde{K}(t)=H(t)+\underset{n\to \infty }{\lim }\left[\sum _{k=1}^{n-1}{F}_k\ast H(t)+F_n\ast \tilde{K}(t)\right]=H(t)+M\ast H(t)$$
与 $K(t)$ 是一样的

更新方程的应用

例：（Wald 等式）若 $X_1$ ，$X_2$ ，$\cdots$ 是独立同分布的随机变量，设 $E(x_i)<\infty$ ，证明：
$$E(T_{N(t)+1})=E(X_1+X_2+\cdots +X_{N(t)+1})=E(X_1)E(N(t)+1)$$
解：对于第一次更新的时刻 $X_1$ ，取条件：
$$E[T_{N(t)+1}|X_1=x]=\{\begin{array}{ll}x& x>t\\ x+E[T_{N(t-x)+1}]& x\le t\end{array}$$
可以理解为，如果 $x>t$ ，那么说明第一次更新发生在 $t$ 时刻之后，因此 $t$ 时刻及以前更新次数为 $0$ （ $N(t)=0$ ），所以此时 $T_{N(t)+1}=x$ ；如果 $x\le t$ ，那么由于独立增量，可以将第一次更新的时间看作开始的时间，之后的时间的期望就是 $E[T_{N(t-x)+1}]$ ；

记 $K(t)=E[T_{N(t)+1}]$ ，$F(x)$ 是 $x$ 的分布函数，则：
$$\begin{array}{rl}K(t)=& E[T_{N(t)+1}]=E[E(T_{N(t)+1})|X_1]\\ =& {\int }_0^{\infty }E[T_{N(t)+1}|X_1=x]dF(x)\\ =& {\int }_t^{\infty }xdF(x)+{\int }_0^t[x+E[T_{N(t-x)+1}]]dF(x)\\ =& {\int }_0^{\infty }xdF(x)+{\int }_0^{t}E[T_{N(t-x)+1}]dF(x)\\ =& E(X_1)+{\int }_0^{t}K(t-x)dF(x)\end{array}$$
根据更新方程及其解的形式可以知道：（注意 $E(X_1)$ 是一个值，而不是函数）
$$\begin{array}{rl}K(t)=& E(X_1)+{\int }_0^{t}E(X_1)dM(x)=E(X_1)[1+M(t)]=E(X_1)[E(N(t))+1]=E(X_1)E[N(t)+1]\end{array}$$
事实上我们不用更新方程也可以直接证明：
$$\begin{array}{rl}E[T_{N(t)+1}]=& \sum _{k=0}^{\infty }P(N(t)=k)\left[\sum _{i=1}^{k+1}{\int }_0^{\infty }{x}_{i}dF(x_i)\right]\\ =& \sum _{k=0}^{\infty }P(N(t)=k)(k+1)E(X_1)\\ =& E(X_1)[\sum _{k=0}^{\infty }k\cdot P(N(t)=k)+\sum _{k=0}^{\infty }P(N(t)=k)]\\ =& E(X_1)[E(N(t))+1]=E(X_1)E[N(t)+1]\end{array}$$
例：（人口学中的应用）考虑一个确定性的人口模型：

• $B(t)$ 表示在时刻 $t$ 女婴的出生率，即在时间 $[t,t+dt]$ 内有 $B(t)dt$ 个女婴出生；
• $S(x)$ 为生存函数，代表一个新生女婴能够活到年龄 $x$ 的概率；
• $\beta (x)$ 为生育的年龄强度，即在年龄 $[x,x+dx]$ 时生下 $\beta (x)dx$ 个女婴

我们已知过去的 $B(t)$ $(t\le 0)$ ，要预测未来的 $B(t)$（$t>0$）。在时刻 $t$ ，有 $B(t-x)S(x)dx$ 个女性居民的年龄在 $x$ 和 $x+dx$ 之间；在此时刻，单位时间内该群体将生育 $B(t-x)S(x)\beta (x)$ 个女婴。由此可得每单位之间内由所有育龄段的女性所生育的女婴数应为：
$$B(t)={\int }_0^{\infty }B(t-x)S(x)\beta (x)dx$$
根据过去和未来的生育情况，将上述积分分成两段：
$$B(t)={\int }_t^{\infty }B(t-x)S(x)\beta (x)dx+{\int }_0^{t}B(t-x)S(x)\beta (x)dx$$
这是一个更新方程，其中 $f(x)=S(x)\beta (x)$ ，$H(x)={\int }_t^{\infty }B(t-x)S(x)\beta (x)dx$

做变量替换 $x=y+t$ ，得：
$$H(t)={\int }_0^{\infty }B(-y)S(y+t)\beta (y+t)dy$$
$H(t)$ 是由年龄为 $t$ 或更大的女性在单位时间 $[t,t+dt]$ 内生育的女婴数；此外，每一个新生的女婴将在期待年龄 $[x,x+dx]$ 内生育 $f(x)dx$ 个女婴。于是，每一个新生的女婴在死亡或生存到年龄 $x$ 之前将期待生育 $F(x)={\int }_0^{x}f(x)dx$ 个女婴，从而她一生将期待生育 $F(\infty )$ 个女婴。

若 $F(\infty )>1$ ，则 $B(t)\sim C{e}^{-Rt}$ （$t\to \infty$）（我解不出来。。。），其中 $C$ 为常数，$R$ 满足方程：
$${\int }_0^{\infty }{e}^{Ry}S(y)\beta (y)dy=1$$
即出生率（以及具有此速率的人群）将以渐进指数增长。

若 $F(\infty )<1$ ，$k>0$ ，$B(t)$ 渐进指数地趋于 0，也就是说人群最终要消亡；只有当 $F(\infty )=1$ 时，出生率最终将趋于一个有限的正数。