03.第三章 Poisson过程(1)

第三章 Poisson过程(1)

1.Poisson过程的定义

记$N(s,t]$为$(s,t]$时间段内事件发生的次数，也就是一个计数过程，$N(t)=N(0,t]$，则满足以下要求的随机过程$\mathbf{N}=(N(t),t\ge 0)$是Poisson过程：

1. 初始条件：$N(0)=0,N(t)\ge 0$；

2. 独立增量：对任意$0<t_1<\cdots <t_k$，有$N(t_1),N(t_2)-N(t_1),\cdots ,N(t_k)-N(t_{k-1})$相互独立；

3. 平稳增量：对任意$s<t$，$N(t)-N(s)$与$N(t-s)$具有相同的分布；

4. 稀有性：存在一个正常数$\lambda >0$，使得对任何$t>0$有
   $$\begin{gathered} P(N(t,t+\Delta (t))=1)=\lambda \Delta (t)+o(\Delta (t)) \\ P(N(t,t+\Delta (t))\ge 1)=o(\Delta (t)) \end{gathered}$$
   这里$\Delta (t)$是一个相对小的时间增量，意味着在微小时刻几乎不可能同时发生两个及以上的事件。

由以上1~4条件保证的泊松过程，满足以下的分布规律：
$$P(N(t)=k)=\frac{(\lambda t{)}^k}{k!}{e}^{-\lambda t},k=0,1,2,\cdots$$
要证明这个结论，将$[0,t]$区间划分成$n$个小区间，使得每个区间长度为$t/n$足够小，这样$P(N(t)=k)$就相当于$n$个小区间中有$k$个小区间取1，剩下的取0（由稀缺性，每个小区间不超过2）。由独立增量性，每个小区间互相独立且同分布，即
$$\begin{array}{rl}P(N(t/n)=1)=& \frac{\lambda t}{n}+o(\frac{t}{n}),\\ P(N(t/n)=0)=& 1-\frac{\lambda t}{n}+o(\frac{t}{n}),\\ & \\ P(N(t)=k)=& \underset{n\to \infty }{\lim }{C}_n^k(\frac{\lambda t}{n}+o(\frac{t}{n}){)}^k(1-\frac{\lambda t}{n}+o\frac{t}{n}{)}^{n-k}\\ =& \underset{n\to \infty }{\lim }\frac{n!}{(n-k)!n^k}\frac{(\lambda t{)}^k}{k!}{e}^{-\frac{(n-k)\lambda t}{n}}\\ =& \frac{(\lambda t{)}^k}{k!}{e}^{-\lambda t}\end{array}$$
可以看到，参数为$\lambda$的泊松过程$\mathbf{N}$，有$N(t)\sim P(\lambda t)$。

2.泊松过程的基本性质

由于泊松过程$\mathbf{N}=(N(t),t\in T)$满足$N(t)\sim P(\lambda t)$，因此计算泊松过程的均值、方差和特征函数如下：
$$\begin{gathered} {\mu }_N(t)=E(N(t))=\lambda t, \\ {\sigma }_N^2(t)=D(N(t))=\lambda t, \\ \begin{array}{rl}& {\varphi }_{N(t)}(x)=E{e}^{ixN(t)}\\ =& \sum _{k=0}^{\infty }{e}^{ixk}\frac{(\lambda t{)}^k}{k!}{e}^{-\lambda t}\\ =& e^{-\lambda t}\sum _{k=0}^{\infty }\frac{(e^{ix}\lambda t{)}^k}{k!}\\ =& e^{\lambda t(e^{ix}-1)}\end{array} \end{gathered}$$
因此$\lambda =E[N(t)]/t$，如果将此计数过程看作一个服务系统，则参数$\lambda$表明服务的平均繁忙程度。

下面假设$s<t$，计算泊松过程的自相关函数和自协方差函数如下：
$$\begin{array}{rl}& r_N(s,t)=E[N(s)N(t)]\\ =& E[N(s)N(t-s+s)]\\ =& E[N(s)N(t-s)]+E[N(s){]}^2\\ =& E[N(s)]E[N(t-s)]+D[N(s)]+[EN(s){]}^2\\ =& \lambda s\lambda (t-s)+\lambda s+(\lambda s{)}^2\\ =& {\lambda }^{2}st+\lambda s\\ & \\ & Co{v}_N(s,t)=r_N(s,t)-{\mu }_N(s){\mu }_N(t)\\ =& {\lambda }^{2}st+\lambda s-{\lambda }^{2}st\\ =& \lambda s\end{array}$$
如果没给定$s,t$的大小关系，则$Co{v}_N(s,t)=\lambda (m\wedge n)$，这里$\wedge$表示两者取小，$\vee$表示两者取大。

接下来计算Poisson过程的联合分布，由于其具有独立增量性，所以
$$\begin{array}{rl}& P(N(t_1)=k_1,\cdots ,N(t_m)=k_m)\\ =& P(N(t_1)=k_1)\cdots P(N(t_m)-N(t_{m-1})=k_m-k_{m-1})\\ =& \frac{(\lambda t_1{)}^{k_1}}{k_1!}\frac{[\lambda (t_2-t_1){]}^{k_2-k_1}}{(k_2-k_1)!}\cdots \frac{[\lambda (t_m-t_{m-1}){]}^{k_m-k_{m-1}}}{(k_m-k_{m-1})!}{e}^{-\lambda t_m}\end{array}$$
对于条件分布，有两种情况，现假设$s<t,k\le m$，则
$$\begin{array}{rl}& P(N(t)=m|N(s)=k)\\ =& \frac{P(N(t)=m,N(s)=k)}{P(N(s)=k)}\\ =& \frac{\frac{(\lambda s{)}^k}{k!}{e}^{-\lambda s}\frac{[\lambda (t-s){]}^{m-k}}{(m-k)!}{e}^{-\lambda (t-s)}}{\frac{(\lambda s{)}^k}{k!}{e}^{-\lambda s}}\\ =& \frac{[\lambda (t-s){]}^{m-k}}{(m-k)!}{e}^{-\lambda (t-s)}\\ & \\ & P(N(s)=k|N(t)=m)\\ =& \frac{P(N(t)=m,N(s)=k)}{P(N(t)=m)}\\ =& \frac{\frac{(\lambda s{)}^k}{k!}{e}^{-\lambda s}\frac{[\lambda (t-s){]}^{m-k}}{(m-k)!}{e}^{-\lambda (t-s)}}{\frac{(\lambda t{)}^m}{m!}{e}^{-\lambda t}}\\ =& \frac{m!}{k!(m-k)!}\frac{s^k(t-s{)}^{m-k}}{t^m}\\ =& C_m^k(\frac{s}{t}{)}^k(1-\frac{s}{t}{)}^{m-k}\end{array}$$
可以看到第二个条件分布是二项分布的形式，这可以解释为$t$时间内到达的$m$个顾客独立选择服务，有$k$个选择在$(0,s]$时间段内服务，选择的概率自然是两段时间的长度比$s/t$。

3.到达时刻与时间间隔

记$S_i$为第$i$个事件的到达时刻，且记$S_0=0$。$T_i=S_i-S_{i-1}$为第$i-1$个事件和第$i$个事件间隔。$S_i,T_i,N(t)$之间存在一系列关联。

$S_n>t$，意味着第$n$个事件在时刻$t$以后发生，也就意味着$t$时刻及以前发生的事件个数不大于$n-1$，也就是
$$\begin{gathered} S_n>t\iff N(t)\le n-1 \\ P(S_n>t)=P(N(t)\le n-1)=\sum _{k=0}^{n-1}\frac{(\lambda t{)}^k}{k!}{e}^{-\lambda t} \end{gathered}$$
这样就得到$S_n$的分布函数和密度函数
$$\begin{array}{rl}& F_{S_n}(t)=P(S_n\le t)\\ =& 1-\sum _{k=0}^{n-1}\frac{(\lambda t{)}^k}{k!}{e}^{-\lambda t}\\ =& e^{-\lambda t}\sum _{k=n}^{\infty }\frac{(\lambda t{)}^k}{k!}\\ & \\ & p_{S_n}(t)=F_{S_n}^{\prime }(t)\\ =& -e^{-\lambda t}\sum _{k=n}^{\infty }\frac{{\lambda }^{k+1}{t}^k}{k!}+e^{-\lambda t}\sum _{k=n}^{\infty }\frac{{\lambda }^k{t}^{k-1}}{(k-1)!}\\ =& \frac{{\lambda }^n{t}^{n-1}}{(n-1)!}{e}^{-\lambda t}\\ =& \frac{{\lambda }^n}{\Gamma (n)}{t}^{n-1}{e}^{-\lambda t}，t>0\end{array}$$
这里得到$S_n\sim \Gamma (n,\lambda )$。

同时，由于$T_i=S_i-S_{i-1}$，可以计算第$i-1$个事件到第$i$个事件的时间间隔，得到
$$\begin{array}{rl}& P(T_n>t|S_{n-1}=s)\\ =& P(S_n>t+s|S_{n-1}=s)\\ =& P(N(t+s)<n|N(s)=n-1,N(s-0)<n-1)\\ =& P(N(s,t+s)<1)\\ =& P(N(t)=0)=e^{-\lambda t}\end{array}$$
这里可以看到$P(T_n>t|S_n=s)$与$s$无关，因此有$T_n$与$S_{n-1}$独立，并且
$$\begin{gathered} F_{T_n}(t)=1-P(T_n>t)=1-e^{-\lambda t}; \\ {p}_{T_n}(t)=\lambda e^{-\lambda t}. \end{gathered}$$
这里得到$T_n\sim E(\lambda )=\Gamma (1,\lambda )$。因此有这样的结论：

1. 事件发生的间隔$T_1,\cdots ,T_n$为相互独立的随机变量，它们独立同分布于$E(\lambda )$；

2. $S_n=T_1+\cdots +T_n$为第$n$个事件的发生时间，它服从$\Gamma (n,\lambda )$。

3. 如果$X_1,X_2,\cdots$是一列独立同分布的$E(\lambda )$随机变量，定义$S_0=0$，$S_n={\sum }_{i=1}^n{X}_i$，$N(0)=0$，则随机过程$\mathbf{N}=(N(t),t\in T)$是泊松过程，这里
   N ( t ) = max ⁡ { n : S n ≤ t } . N(t)=\max\{n:S_n\le t\}. N(t)=max{n:Sn​≤t}.
   要证明$N(t)$是泊松过程，首先要证明$N(t)\sim P(\lambda t)$，为此，有
   $$\begin{array}{rl}& P(N(t)=k)\\ =& P(S_k\le t<S_{k+1})\\ =& {\int }_0^{t}P(t<S_{k+1}|S_k=s)p_{S_k}(s)ds\\ =& {\int }_0^{t}P(X_{k+1}>t-s|S_k=s)p_{S_k}(s)ds\\ =& {\int }_0^t{e}^{-\lambda (t-s)}\frac{{\lambda }^k}{\Gamma (k)}{s}^{k-1}{e}^{-\lambda s}ds\\ =& \frac{(\lambda t{)}^k}{k!}{e}^{-\lambda t}\end{array}$$
   这里用到全概率公式：$P(A)={\int }_{-\infty }^{\infty }P(A|X=x)p(x)dx$。

   还要证明其独立平稳增量性，即证明
   $$P(N(t)-N(s)<m,N(s)=k)=P(N(t-s)<m)\cdot P(N(s)=k)$$
   这里
   $$\begin{array}{rl}& P(N(t)-N(s)<m,N(s)=k)\\ =& P(N(t)<k+m,N(s)=k)\\ =& P(S_{k+m}>t,S_k\le s<S_{k+1})\\ =& P(S_{k+m}>t,S_k\le s)-P(S_{k+m}>t,S_{k+1}\le s)\\ & \\ & P(S_{k+m}>t,S_k\le s)\\ =& P(S_{k+m}-S_k>t-S_k,S_k\le s)\\ =& {\int }_0^{s}P(S_m>t-u)p_{S_k}(u)du\end{array}$$
   注意到前面我们证明了$N(t)\sim P(\lambda t)<n\iff S_n\sim \Gamma (n,\lambda )>t$，因此可以对上述式子中的概率进行替换，即$P(S_m>t-u)=P(X<m)$，这里$X\sim P(\lambda (t-u))$，所以
   P ( S k + m > t , S k ≤ s ) = P ( S k + m − S k > t − S k , S k ≤ s ) = ∫ 0 s P ( S m > t − u ) p S k ( u ) d u = ∫ 0 s P { P ( λ ( t − u ) < m ) } p s k ( u ) d u = ∫ 0 s ∑ l = 0 m − 1 λ l ( t − u ) l l ! e − λ ( t − u ) λ k ( k − 1 ) ! u k − 1 e − λ u d u = e − λ t ∑ l = 0 m − 1 λ k + l ( k − 1 ) ! l ! ∫ 0 s u k − 1 ( t − u ) l d u \begin{aligned} &P(S_{k+m}>t,S_k\le s)\\ =&P(S_{k+m}-S_k >t-S_k,S_k\le s)\\ =& \int_0^s P(S_m>t-u) p_{S_k}(u)du\\ =&\int_0^sP\{P(\lambda(t-u)<m)\}p_{s_k}(u)du\\ =&\int_0^s \sum_{l=0}^{m-1}\frac{\lambda^l(t-u)^l}{l!}e^{-\lambda (t-u)}\frac{\lambda ^k}{(k-1)!}u^{k-1}e^{-\lambda u}du\\ =&e^{-\lambda t}\sum_{l=0}^{m-1}\frac{\lambda ^{k+l}}{(k-1)!l!}\int_0^s u^{k-1}(t-u)^l du \end{aligned} =====​P(Sk+m​>t,Sk​≤s)P(Sk+m​−Sk​>t−Sk​,Sk​≤s)∫0s​P(Sm​>t−u)pSk​​(u)du∫0s​P{P(λ(t−u)<m)}psk​​(u)du∫0s​l=0∑m−1​l!λl(t−u)l​e−λ(t−u)(k−1)!λk​uk−1e−λudue−λtl=0∑m−1​(k−1)!l!λk+l​∫0s​uk−1(t−u)ldu​
   类似地有
   P ( S k + m > t , S k + 1 ≤ s ) = ∫ 0 s P ( S m − 1 > t − u ) p S k + 1 ( u ) d u = ∫ 0 s P { P ( λ ( t − u ) ) < m − 1 } p S k + 1 ( u ) d u = ∫ 0 s ∑ l = 0 m − 2 λ l ( t − u ) l l ! e − λ ( t − u ) λ k + 1 k ! u k e − λ u d u = e − λ t ∑ l = 0 m − 2 λ k + 1 + l k ! ⋅ l ! ∫ 0 s u k ( t − u ) l d u \begin{aligned} &P(S_{k+m}>t,S_{k+1}\le s)\\ =& \int_0^s P(S_{m-1}>t-u)p_{S_{k+1}}(u)du\\ =& \int_0^s P\{P(\lambda (t-u))<m-1\}p_{S_{k+1}}(u)du\\ =&\int_0^s \sum_{l=0}^{m-2} \frac{\lambda^l (t-u)^l}{l!}e^{-\lambda(t-u)}\frac{\lambda ^{k+1}}{k!}u^ke^{-\lambda u}du\\ =&e^{-\lambda t}\sum_{l=0}^{m-2}\frac{\lambda ^{k+1+l}}{k!\cdot l!}\int_0^s u^k (t-u)^ldu \end{aligned} ====​P(Sk+m​>t,Sk+1​≤s)∫0s​P(Sm−1​>t−u)pSk+1​​(u)du∫0s​P{P(λ(t−u))<m−1}pSk+1​​(u)du∫0s​l=0∑m−2​l!λl(t−u)l​e−λ(t−u)k!λk+1​uke−λudue−λtl=0∑m−2​k!⋅l!λk+1+l​∫0s​uk(t−u)ldu​
   而
   $$\begin{array}{rl}& P(S_{k+m}>t,S_k\le s)\\ =& e^{-\lambda t}\sum _{l=0}^{m-1}\frac{{\lambda }^{k+l}}{(k-1)!l!}{\int }_0^s{u}^{k-1}(t-u{)}^{l}du\\ =& e^{-\lambda t}\sum _{l=0}^{m-1}\frac{{\lambda }^{k+l}}{k!l!}{\int }_0^{s}k{u}^{k-1}(t-u{)}^{l}du\\ =& e^{-\lambda t}\sum _{l=0}^{m-1}\frac{{\lambda }^{k+l}}{k!l!}\left(s^k(t-s{)}^l+l{\int }_0^s{u}^k(t-u{)}^{l-1}du\right)\\ =& e^{-\lambda t}\sum _{l=0}^{m-1}\frac{{\lambda }^{k+l}}{k!l!}{s}^k(t-s{)}^l\\ & +e^{-\lambda t}\sum _{l=1}^{m-1}\frac{{\lambda }^{k+l}}{k!(l-1)!}{\int }_0^s{u}^k(t-u{)}^{l-1}du\\ =& e^{-\lambda t}\sum _{l=0}^{m-1}\frac{{\lambda }^{k+l}}{k!l!}{s}^k(t-s{)}^l+e^{-\lambda t}\sum _{l=0}^{m-2}\frac{{\lambda }^{k+l+1}}{k!\cdot l!}{\int }_0^s{u}^k(t-u{)}^{l}du\\ =& e^{-\lambda t}\sum _{l=0}^{m-1}\frac{{\lambda }^{k+l}}{k!l!}{s}^k(t-s{)}^l+P(S_{k+m}>t,S_{k+1}\le s)\end{array}$$
   因此有
   $$\begin{array}{rl}& P(N(t)-N(s)<m,N(s)=k)\\ =& P(S_{k+m}>t,S_k\le s)-P(S_{k+m}>t,S_{k+1}\le s)\\ =& e^{-\lambda t}\sum _{l=0}^{m-1}\frac{{\lambda }^{k+l}}{k!l!}{s}^k(t-s{)}^l\\ =& \left(\frac{{\lambda }^k{s}^k}{k!}{e}^{-\lambda s}\right)\left(\sum _{l=0}^{m-1}\frac{{\lambda }^l(t-s{)}^l}{l!}{e}^{-\lambda (t-s)}\right)\\ =& P(N(s)=k)\cdot P(N(t-s)<m)\end{array}$$