随机过程（一）：泊松过程的详细理解

        在学习随机过程中，一个无法避免的就是泊松过程，而该过程也是实际中非常常见的一种随机过程。那到底是什么是泊松过程，本文将带你详细了解。
注：本文写的较为详细，故对于有相关基础的人来说，本文可能显得过于繁琐。但针对基础薄弱或是零基础人，则这样的详细是必要的，故请大家根据自己的情况选择性的看。
————————————————————————————————

1. 基础知识

如果有一定的相关知识基础，可以跳过此部分，如果不记得，可以仔细看一下。

（1）随机过程

        一个随机过程 X = { X ( t ) , t ∈ T } X=\left\{ X(t),t\in T\right\} X={X(t),t∈T}是指一簇随机变量，即对集合$T$中的每个$t$,$X(t)$都是一个随机变量。通常情况下我们将$T$视为时间，$X(t)$视为过程在$t$时刻的状态。如果$T$是离散的，则称为离散随机过程，如果$T$是连续的，则称为连续的随机过程。

（2）计数过程

        随机过程可以是一个计数过程，而所谓的计数过程就是表示在一段时间内某个事件发生的次数，用数学语言描述就是 { N ( t ) , t ⩾ 0 } \left\{ {N(t),t \geqslant 0} \right\} {N(t),t⩾0}, $N(t)$表示在时间t内事件发生的次数，它需要满足以下四个条件：
（i）$N(t)⩾0$；
（ii）$N(t)$是整数值；
（iii）若$s<t$,则$N(s)⩽N(t)$；
（iv）当$s<t$时，$N(t)-N(s)$等于在区间$\left(s,t\right]$事件发生的次数。
        那么我们研究这个计数过程，具体研究什么呢？一是研究计数，即在这段时间内事件发生次数的概率；二是研究过程，如在这个过程中两个事件的间隔时间是服从什么分布？第n次事件发生的具体时刻是哪里？

（3）高阶无穷小

        若函数$f(x)$满足以下条件：$$\underset{h\to 0}{\lim }\frac{f(h)}{h}=0$$则称函数$f$是$o(h)$，它表示$f(h)$比$h$更快的趋向于0。高阶无穷小具有以下运算法则：
（i）无穷小加减无穷小还是等于无穷小，即$o(h)\pm o(h)=o(h)$，如果不同的次数的无穷小相加减，则结果就低不就高，即$o(h^m)\pm o(h^n)=o(h^n)$,$m⩾n$;
（ii）一个常数或是一个有界函数乘以高阶无穷小，其结果还是高阶无穷小；
（iii）除法：$o(h^m)/o(h^n)=0$, 当$m>n$时；
（iv）幂乘：$o^m\ast o(h^n)=o(h^{m+n})$；
后面两条本博文用不到，只是顺便复习一下。

（4）常用函数幂级数展开式

$e^x=\sum _{n=0}^{\infty }\frac{x^n}{n!},x\in (-\infty ,+\infty )$;
$\ln (1+x)=\sum _{n=0}^{\infty }\frac{{(-1)}^n{x}^{n+1}}{n+1},x\in (-1,1]$;
$\sin x=\sum _{n=0}^{\infty }\frac{{(-1)}^n{x}^{2n+1}}{(2n+1)!},x\in (-\infty ,+\infty )$;
$\cos x=\sum _{n=0}^{\infty }\frac{{(-1)}^n{x}^{2n}}{(2n)!},x\in (-\infty ,+\infty )$;
$\frac{1}{1+x}=\sum _{n=0}^{\infty }{(-1)}^n{x}^n,x\in (-1,1)$;
$\frac{1}{1-x}=\sum _{n=0}^{\infty }{x}^n,x\in (-1,1)$;
本博文只用到第一个，其余的是顺便复习。

（5）一阶微分方程的求解

        关于微分方程的求解，内容就太多了，此处只简单介绍一下一阶齐次线性微分方程和一阶非齐次线性微分方程的通解形式，更深次的内容请大家查阅相关书籍。
我们定义有如下形式的方程为一阶线性微分方程：$$\frac{dy}{dx}+P(x)y=Q(x)$$
其中，$P(x)$和$Q(x)$是$x$的连续函数，如果$Q(x)=0$，则称为一阶齐次，否则称为非齐次。
一阶齐次线性微分方程为：
$$\frac{dy}{dx}+P(x)y=0$$
其通解为：$$y=C{e}^{-\int P(x)dx}$$
一阶非齐次线性微分方程为：$$\frac{dy}{dx}+P(x)y=Q(x)$$
其通解为：$$y=C{e}^{-\int P(x)dx}+e^{-\int P(x)dx}\int Q(x)e^{\int P(x)dx}dx$$
其中$C$由初始条件决定。

2. 泊松过程的定义

        定义一：一个计数过程 { N ( t ) , t ⩾ 0 } \left\{ {N(t),t \geqslant 0} \right\} {N(t),t⩾0}是泊松过程，则其具有参数 $\lambda$，$\lambda >0$,且满足以下条件：
（i）$N(0)=0$；
（ii）过程具有独立增量，即在不相交的时间区间内，事件发生的个数是相互独立的；
（iii）在任一长度为$t$的时间区间内，事件发生的个数服从均值为$\lambda t$的泊松分布，即对任意$s$,$t⩾0$，有
P { N ( t + s ) − N ( s ) = n } = e − λ t ( λ t ) n n ! , n = 0 , 1 , … P\{ N(t + s) - N(s) = n\} = {e^{ - \lambda t}}\frac{{{{(\lambda t)}^n}}}{{n!}},n = 0,1, \ldots P{N(t+s)−N(s)=n}=e−λtn!(λt)n​,n=0,1,…也正是因为第（iii）点，我们才称此过程为泊松过程，且第（iii）点也说明泊松过程具有平稳增量，即某个时间段内事件发生次数的分布只依赖于该时间段的长度。我们可以从这个角度去理解平稳增量：首先看增量，因为泊松过程是一个计数过程，而计数肯定随时间增长而增长的（至少是不减的），故增量就体现在事件发生次数的增长上面。其次看平稳，由于在任意时间段内事件发生次数的均值为$\lambda t$，这就是这个时间段内的增量，该增量增长过程是一条直线，斜率为$\lambda$，是固定的，是平稳的。这个增长我们假设$t$为单位时间，则在单位时间内事件发生次数的均值为$\lambda$，这也是我们称$\lambda$为泊松过程速率或强度的原因。
然而，在实际中，我们很难根据以上定义去判断一个计数过程是泊松过程，主要原因在于第三点我们很难去判断。为此，构建一个泊松过程的等价定义显得尤为必要。
        定义二：一个计数过程 { N ( t ) , t ⩾ 0 } \left\{ {N(t),t \geqslant 0} \right\} {N(t),t⩾0}是泊松过程，则其具有参数 $\lambda$，$\lambda >0$,且满足以下条件：
（i）$N(0)=0$；
（ii）过程具有平稳和独立增量，平稳增量是指在某个时间段内事件发生次数的分布只依赖于该时间段的长度，独立增量指在不相交的时间区间内，事件发生的个数是相互独立的；
（iii）在很小的时间$h\to 0$内，发生一次事件的概率为： P { N ( h ) = 1 } = λ h + o ( h ) P\{ N(h) = 1\} = \lambda h + o(h) P{N(h)=1}=λh+o(h);
（iv)在很小的时间$h\to 0$内，发生两次及以上次事件的概率为： P { N ( h ) ⩾ 2 } = o ( h ) P\{ N(h) \geqslant 2\} = o(h) P{N(h)⩾2}=o(h);
        定义一和定义二是等价的。在实际中，我们更多的是用定义二去描述一个泊松过程，一方面是因为便于判断一个随机过程是否为泊松过程，另一方面是因为便于我们对泊松过程进行一些数学分析。下面对两个定义的等价性进行证明。
        证明：（1）先证明定义二包含定义一。定义二的前两个条件很明显对应于定义一的前两个条件，所以只要证明定义二的第3和第4个条件对应于定义一的第3个条件即可。
令到时间$t$时事件总共发生了$n$次的概率为：
P { N ( t ) = n } = P n ( t ) P\{ N(t) = n\} = {P_n}(t) P{N(t)=n}=Pn​(t)
我们先推导$P_0(t)$。在$t+h$时间内，事件发生的次数为0的概率为： P 0 ( t + h ) = P { N ( t + h ) = 0 } = P { N ( t ) = 0 , N ( t + h ) − N ( t ) = 0 } = P { N ( t ) = 0 } P { N ( t + h ) − N ( t ) = 0 } = P 0 ( t ) ( 1 − P { N ( h ) = 1 } − P { N ( h ) ≥ 2 } ) = P 0 ( t ) ( 1 − ( λ h + o ( h ) ) − o ( h ) ) = P 0 ( t ) ( 1 − λ h + o ( h ) ) \begin{aligned} {P_0}(t + h) &= P\{ N(t + h) = 0\} \\ &= P\{ N(t) = 0,N(t + h) - N(t) = 0\} \\ & = P\{ N(t) = 0\} P\{ N(t + h) - N(t) = 0\} \\ &= {P_0}(t)\left( {1 - P\{ N(h) = 1\} - P\{ N(h) \ge 2\} } \right)\\ &= {P_0}(t)\left( {1 - (\lambda h + o(h)) - o(h)} \right)\\ & = {P_0}(t)\left( {1 - \lambda h + o(h)} \right) \end{aligned} P0​(t+h)​=P{N(t+h)=0}=P{N(t)=0,N(t+h)−N(t)=0}=P{N(t)=0}P{N(t+h)−N(t)=0}=P0​(t)(1−P{N(h)=1}−P{N(h)≥2})=P0​(t)(1−(λh+o(h))−o(h))=P0​(t)(1−λh+o(h))​
其中，第二个等式是因为定义二中的第二个条件：独立平稳增量；第四个等式是因为定义二中的第三、四个条件；最后一个等式是因为高阶无穷小的相关运算法则。
根据得到的$P_0(t+h)$的式子，可以推导其微分方程为：
$$\frac{P_0(t+h)-P_0(t)}{h}=-\lambda P_0(t)+\frac{o(h)}{h}\text{\hspace{1em}(1)}$$ 令$h\to 0$有：
$${P_0}^{\prime }(t)+\lambda P_0(t)=0\text{\hspace{1em}(2)}$$
根据基础知识中微分方程的通解可以上述微分方程的通解为：$P_0(t)=C{e}^{-\lambda t}$，再由初始条件 P 0 ( 0 ) = P { N ( t ) = 0 } = 1 {P_0}(0) = P\{ N(t) = 0\} = 1 P0​(0)=P{N(t)=0}=1可得：
$$P_0(t)=e^{-\lambda t}\text{\hspace{1em}(3)}$$
类似地，当$n\ge 1$时，有：
P n ( t + h ) = P { N ( t + h ) = n } = P { N ( t ) = n , N ( t + h ) − N ( t ) = 0 } + P { N ( t ) = n − 1 , N ( t + h ) − N ( t ) = 1 } + P { N ( t ) ≤ n − 2 , N ( t + h ) − N ( t ) ≥ 2 } = P n ( t ) P 0 ( h ) + P n − 1 ( t ) P 1 ( h ) + o ( h ) = ( 1 − λ h ) P n ( t ) + λ h P n − 1 ( t ) + o ( h ) \begin{aligned} {P_n}(t + h) &= P\{ N(t + h) = n\} \\ &= P\{ N(t) = n,N(t + h) - N(t) = 0\} + P\{ N(t) = n - 1,N(t + h) - N(t) = 1\} + P\{ N(t) \le n - 2,N(t + h) - N(t) \ge 2\} \\ &= {P_n}(t){P_0}(h) + {P_{n - 1}}(t){P_1}(h) + o(h)\\ &= (1 - \lambda h){P_n}(t) + \lambda h{P_{n - 1}}(t) + o(h) \end{aligned} Pn​(t+h)​=P{N(t+h)=n}=P{N(t)=n,N(t+h)−N(t)=0}+P{N(t)=n−1,N(t+h)−N(t)=1}+P{N(t)≤n−2,N(t+h)−N(t)≥2}=Pn​(t)P0​(h)+Pn−1​(t)P1​(h)+o(h)=(1−λh)Pn​(t)+λhPn−1​(t)+o(h)​
第三个等式成立是因为 o ( h ) P { N ( t ) ≤ n − 2 } = o ( h ) o(h)P\{ N(t) \le n - 2\}=o(h) o(h)P{N(t)≤n−2}=o(h)，最后一个等式成立是因为定义二中的第三、四个条件。
同样地，利用导数定义构建关于$P_n(t)$的微分方程为：$$\frac{P_n(t+h)-P_n(t)}{h}=-\lambda P_n(t)+\lambda P_{n-1}(t)+\frac{o(h)}{h}$$令$h\to 0$有：
$$P_n^{\prime }(t)+\lambda P_n(t)=\lambda P_{n-1}(t)\text{\hspace{1em}(4)}$$
我们在（4）式两边分别乘以$e^{\lambda t}$得：
$$e^{\lambda t}[P_n^{\prime }(t)+\lambda P_n(t)]=e^{\lambda t}\lambda P_{n-1}(t)\text{\hspace{1em}(5)}$$
该式左边即等于$\frac{d}{dt}(e^{\lambda t}{P}_n(t))$，即有：$$\frac{d}{dt}(e^{\lambda t}{P}_n(t))=\lambda e^{\lambda t}{P}_{n-1}(t)\text{\hspace{1em}(6)}$$当$n=1$时，有：
$$\frac{d}{dt}(e^{\lambda t}{P}_1(t))=\lambda e^{\lambda t}{P}_0(t)\text{\hspace{1em}(7)}$$将$P_0(t)=e^{-\lambda t}$代入可得：
$$\frac{d}{dt}(e^{\lambda t}{P}_1(t))=\lambda \text{\hspace{1em}(8)}$$整理得：$$P_1(t)=(\lambda t+c)e^{-\lambda t}\text{\hspace{1em}(9)}$$又因为$P_1(0)=0$，故可得：$$P_1(t)=\lambda t{e}^{-\lambda t}$$
接下来用数学归纳法证明$P_n(t)=\frac{e^{-\lambda t}(\lambda t{)}^n}{n!}$。
假设$n-1$时$P_{n-1}(t)=\frac{e^{-\lambda t}(\lambda t{)}^{n-1}}{(n-1)!}$成立，将其代入（6）式有：$$\frac{d}{dt}(e^{\lambda t}{P}_n(t))=\frac{\lambda (\lambda t{)}^{n-1}}{(n-1)!}$$利用一阶齐次微分方程的通解可得：$$e^{\lambda t}{P}_n(t)=\frac{(\lambda t{)}^n}{(n)!}+c$$根据初始条件 P n ( 0 ) = P { N ( 0 ) = n } = 0 {P_n}(0)=P\{N(0)=n\}=0 Pn​(0)=P{N(0)=n}=0可得：$$P_n(t)=\frac{e^{-\lambda t}(\lambda t{)}^n}{n!}$$
（2）接下来证明定义一包含定义二。根据两个定义的描述，我们只需要证明定义一种的第三条包含定义二的第（iii）和第（iv）点且说明过程增量是平稳的即可。
        定义一的第（iii）点说明在任意长度为$t$的时间内，事件发生的个数服从均值为$\lambda t$的泊松分布。这就说明这个过程中事件发生次数的增量是平稳的。

3. 两个事件之间的间隔时间分布

        我们记$X_1$为第一个事件发生时刻与初始时刻的时间间隔，$X_n$为第$n-1$与第$n$个事件之间的时间间隔（$n⩾1$），现在分析$X_i$服从什么分布。
首先分析$X_1$。根据$X_1$定义易知$X_1>t$表示$[0,t]$时间内，没有事件发生，即 P { X 1 > t } = P { N ( t ) = 0 } P\{ {X_1} > t\} = P\{ N(t) = 0\} P{X1​>t}=P{N(t)=0}在泊松分布的两个等价定义的证明中，我们已经求得 P { N ( t ) = 0 } = e − λ t P\{ N(t) = 0\} = {e^{ - \lambda t}} P{N(t)=0}=e−λt，这说明$X_1$服从参数为$\lambda$的指数分布，此处回忆一下指数分布的分布函数为 F ( a ) = P { X ⩽ a } = 1 − e − λ a F(a) = P\{ X \leqslant a\} = 1 - {e^{ - \lambda a}} F(a)=P{X⩽a}=1−e−λa。
        现在我们来看在已知$X_1$的情况下去分析$X_2$的分布：

P { X 2 > t ∣ X 1 = s } = P { 在 ( s , s + t ] 时间内没有事件发生 ∣ X 1 = s } = P { 在 ( s , s + t ] 时间内没有事件发生 } = e − λ t \begin{aligned} P\{ {X_2} > t|{X_1} = s\} = P\{ 在(s,s+t]时间内没有事件发生|{X_1} = s\}\\ =P\{ 在(s,s+t]时间内没有事件发生\}= {e^{ - \lambda t}} \end{aligned} P{X2​>t∣X1​=s}=P{在(s,s+t]时间内没有事件发生∣X1​=s}=P{在(s,s+t]时间内没有事件发生}=e−λt​
第二个等式成立是因为泊松过程具有独立增量，即在不相交的时间区间内，事件发生的个数是相互独立的；第三个等式成立是因为泊松过程具有平稳增量，即某个时间段内事件发生次数的分布只依赖于该时间段的长度，故在$(s,s+t]$时间段内事件发生0次的概率等于在$(0,t]$时间段内事件发生0次的概率。由此可见$X_2$也服从参数为$\lambda$的指数分布，且$X_1$与$X_2$相互独立。一直类推下去，可知两个事件之间的间隔时间分布总是服从参数为$\lambda$的指数分布。
        举个栗子：假设一个包子店从早上6:00开始开门，然后陆续有顾客进来买包子，第一个顾客到达的时间为6:05，那么$X_1=5分钟$，第二个顾客到达时间为6:08，那么$X_2=3分钟$，以此类推……我们说顾客到达的过程是一个参数为$\lambda$泊松过程，那么第一个顾客到达的时间是服从参数为$\lambda$的指数分布，假设第一个顾客在6:05到达包子店，那么从6:05开始，直到第二个顾客来到店里，这段时间（也就是说店主从6:05开始等第二个顾客到达时需要等待的时间）同样服从参数为$\lambda$的指数分布。同样地，店主等待第三、四……个顾客的时间都是服从参数为$\lambda$的指数分布。

4.第n个事件到来时等待的时间

        同样以上述包子店为例，包子店从早上6:00开始开门，第1个顾客到达的时间为6:05，第10个顾客到达的时间为6:12，那么$S_1=5分钟$，$S_{10}=12分钟$，我们记$S_n$为第n个事件到来（或发生）时，已经等待的时间。由上述的$X_n$的定义可以明显得出：$$S_n=\sum _{i=1}^n{X}_i$$
假设第$n$个事件发生在$t$时刻，或是在$t$时刻之前发生，那么有$N(t)\ge n$或是$S_n\le t$（此时这两个不等式是等价的），故$$P(S_n\le t)=P(N(t)\ge n)=\sum _{i=n}^{\infty }{e}^{-\lambda t}\frac{{(\lambda t)}^i}{i!}$$因为$S_n$是一个连续时间变量，所以我们在上式中对$t$求导即可得到关于$S_n$的概率密度函数（此处回顾：对概率密度求积分得概率，相反，对概率求导则得到概率密度）且记这个概率密度函数为$f(t)$,则：
$$\begin{array}{rl}f(t)& =\sum _{i=n}^{\infty }(-\lambda )e^{-\lambda t}\frac{{(\lambda t)}^i}{i!}+\sum _{i=n}^{\infty }{e}^{-\lambda t}(i\lambda )\frac{{(\lambda t)}^{i-1}}{i!}\\ & =-\sum _{i=n}^{\infty }\lambda e^{-\lambda t}\frac{{(\lambda t)}^i}{i!}+\sum _{i=n}^{\infty }\lambda e^{-\lambda t}\frac{{(\lambda t)}^{i-1}}{(i-1)!}\\ & =\lambda e^{-\lambda t}\frac{{(\lambda t)}^{n-1}}{(n-1)!}\end{array}$$
这个概率密度函数是伽玛分布（$\Gamma$分布）的概率密度函数，参数为$n$和$\lambda$。具体的伽玛分布请参见详细介绍各种常见分布，此处不做详细介绍。
总结：第$n$个事件到来时已等待的实践服从参数为$n$和$\lambda$的$\Gamma$分布。

5.到达时刻的条件分布

        还是以上述包子店为例，包子店从6：00开始开门，假设顾客到达时间为一个泊松过程。我们知道从6:00到6:05这5分钟时间内，有一个顾客来到过，现在的问题是在这个5分钟内，顾客到达的具体时间服从什么分布？转化为数学就是：已知泊松过程中，在时间[0,t]内发生了一个事件，在一个事件发生的条件下，问这个事件发生的具体时刻的分布？
在前面我们介绍泊松过程的定义的时候，提出泊松过程必须满足平稳独立增量这一特征，因此我们有理由猜测上述条件分布是一个均匀分布。根据条件概率我们有：
P { X 1 < s ∣ N ( t ) = 1 } = P { X 1 < s , N ( t ) = 1 } P { N ( t ) = 1 } = P { N ( s ) = 1 , N ( t − s ) = 0 } P { N ( t ) = 1 } = P { N ( s ) = 1 } P { N ( t − s ) = 0 } P { N ( t ) = 1 } = λ s e − λ s e − λ ( t − s ) λ t e − λ t = s t \begin{aligned} P\{ {X_1} < s\left| {N(t) = 1} \right.\} &= \frac{{P\{ {X_1} < s,N(t) = 1\} }}{{P\{ N(t) = 1\} }}\\ & = \frac{{P\{ N(s) = 1,N(t - s) = 0\} }}{{P\{ N(t) = 1\} }}\\ & = \frac{{P\{ N(s) = 1\} P\{ N(t - s) = 0\} }}{{P\{ N(t) = 1\} }}\\ & = \frac{{\lambda s{e^{ - \lambda s}}{e^{ - \lambda (t - s)}}}}{{\lambda t{e^{ - \lambda t}}}}\\ & = \frac{s}{t} \end{aligned} P{X1​<s∣N(t)=1}​=P{N(t)=1}P{X1​<s,N(t)=1}​=P{N(t)=1}P{N(s)=1,N(t−s)=0}​=P{N(t)=1}P{N(s)=1}P{N(t−s)=0}​=λte−λtλse−λse−λ(t−s)​=ts​​
即我们的猜测是正确的，即在任意某一段时间内，只发生一次事件，那么该事件在该时间段内发生的具体时刻服从均匀分布。
—————————————————————————
总结： 泊松过程是最常见的随机过程，也是经管领域中用到较多的一个随机过程。比较重要的知识点是定义二中的最后两个概率等式、两次事件间隔时间服从指数分布、在时间t内事件发生的次数服从参数为$\lambda t$的泊松分布。这三点有必要熟记于心。