【随机过程】11 - 泊松过程及其解析计算

泊松过程定义及其解析计算

1. 课程回顾与概述

  随机过程可以根据时间的连续与否和状态的连续与否分为四个大类。其中，高斯过程是一种连续时间，连续状态的随机过程，也是我们之前学习的重点。对连续时间，连续状态的随机过程，我们研究的主要工具是矩，因此，我们从相关的角度考察了高斯过程，事实上，高斯过程仅仅依赖于一阶矩和二阶矩。而时域上的相关，放到频域上就是功率谱。

$$\text{Continuous Time Discrete State}$$

  接下来，我们会花一些时间了解一下泊松过程。泊松过程是一种连续时间，离散状态的随机过程。对于这种随机过程，由于其相关函数完全没有宽平稳性可言，因此，更多的，我们是从联合分布的角度来研究泊松过程。联合分布是研究泊松过程的主要工具。

$$\text{Joint Probability}$$

2. 泊松过程的解析计算

2.1 点过程模型建立

  点过程就是一种连续时间离散状态的随机过程。我们可以对这个随机过程做某些具象化的描述，比如我们在研究计算机网络的时候，每隔一段时间，就会从其他地方发送过来一组报文；比如我们在研究报销的时候，每隔一段时间会有人来买报销或者要求索赔。

  针对这些具体的问题，我们可以把这个模型给抽象出来，就是我们假设每隔时间T会发生一个事件，然后现在我们想统计在时间间隔[s,t]内事件发生的次数。

$$\begin{gathered} N([s,t]) \\ \text{Number of Events} \end{gathered}$$

  如果说，这些事件发生的时间间隔是确定的，那么在[s,t]时间内发生的次数我们是可以明确计算出来的。用时间段除以时间间隔取整即可。

$$N([s,t])=[\frac{t-s}{T}]$$

  而如果，事件发生的时间间隔是个随机变量，我们依旧想统计时间段t内发生事件的次数，就是一个随机过程了,因为这个次数不但依赖于时间发生的时间间隔，还与时间段的长短有关。N(t)描述的是(0,t)时刻内事件的发生次数。

$$\begin{gathered} N(t)[0,t] \\ {T}_k\text{ :Random Variables} \end{gathered}$$
  这样的随机过程就叫做点过程，也叫做计数过程。

$$\begin{gathered} \text{Counting Processes} \\ \text{Point Processes} \end{gathered}$$

2.2 泊松过程与点过程

  而泊松过程是最简单的点过程。因为泊松过程在点过程的基础上做了一些假设，使得问题变得简单起来。

  首先，值得确定的是，初始化状态一定是0。因为零时刻事件发生的次数一定是0

$$N(0)=0$$

  然后，我们来增加三个假设。

$$\begin{gathered} \text{(1) Independent Increment} \\ \forall t_1<t_2<t_3<t_4 \\ Z(t_4)-Z(t_3)\perp Z(t_2)-Z(t_1) \end{gathered}$$

  第一个假设，这个随机过程具有独立增量特性。

  所谓独立增量特性是指，任取四个时刻，可以构成两个时间上没有重叠的增量，这个两个增量彼此之间是独立的。这就意味着前面一段时间事件发生的次数不会影响后面一段时间事件发生的次数。

  事实上，实际情况中，独立增量特性并不容易得到满足。比如我们去银行，每个办理业务的人要先取号。如果取号的人很多，后面的人看到大厅中人数很多，并且排队人数很多，取号过大，后面的人很大可能就会选择离开不办理业务了。比如网络数据，处理数据是需要时间的，如果处理数据的时候，又发送来了新的数据，会放进buffer中进行暂存，如果数据量过多过大，buffer会满，如果再来其他数据，就会发生丢包，这个时候网络就会发生拥塞。因此，实际情况中，往往前面事件的发生次数是与后面有关的。

$$\begin{gathered} \text{(2) Stationary Increment} \\ Z(t)-Z(s)\sim P(t-s) \end{gathered}$$

  第二个假设是，这个随机过程具有平稳增量特性。

  一般而言，平稳性是针对不同的统计特性而言的。比如宽平稳是针对相关函数的，相关函数只与两个时刻的时间差有关，而与具体时间没有关系。而平稳增量是针对增量的统计特性，这一段增量是一个离散的随机变量，这个统计特性是这个随机变量的分布，他的统计分布，只依赖于这段时间的长度。

  事实上，平稳增量特性在实际情况中叶不容易满足比如网络的繁忙程度与时间有关系，下午三点和晚上三点网络的流量是不同的。

$$\text{(3) Sparsity}$$

  第三个假设是，这个随机过程具有稀疏性，就是若干个事件挤在一起发生的概率比较低。

2.3 泊松过程的概率计算

  下面我们要做的事情，是希望基于泊松过程所做的三个假设，对一段时间内事件发生的次数的统计特性进行解析计算。要计算这个统计特性，就是要计算t时刻内事件发生k次的概率

$$P(N(t)=k)$$

2.3.1 母函数

  为了得到这个概率的计算，我们需要引入一个工具，这个工具叫做母函数

$$\text{Moment Generating function}$$

  母函数的定义是这样的

$$\begin{gathered} G_x(Z)=E(Z^x)Z\in \mathbb{C} \\ {G}_x(Z)=\sum _k{Z}^{k}P(x=k) \end{gathered}$$

$$\text{Z - Transform}$$

  其中Z是一个复数

  我们可以发现母函数和特征函数具有相似性，当复数Z选在单位圆上的时候，其实就是特征函数，特征函数是母函数的一个特例。事实上，特征函数更适合于处理连续时间的分布，因为本质上就是个反傅里叶变换。而母函数更加适合处理离散的随机变量，本质上是个Z变换。

  对于泊松分布来说，泊松分布的母函数定义如下

$$\begin{gathered} G_{N(t)}(Z)=E(Z^{N(t)}) \\ =\sum _k{Z}^{k}P(N(t)=k) \end{gathered}$$

2.3.2 母函数的求解

(1) 拆分

  下面我们想对母函数进行解析计算。我们想从母函数的微分入手

$$\begin{gathered} \frac{d{G}_{N(t)}(Z)}{dt}=\frac{G_{N(t+\Delta t)}(Z)-G_{N(t)}(Z)}{\Delta t}\Delta t\to 0 \\ =\frac{E(Z^{N(t+\Delta t)})-E(Z^{N(t)})}{\Delta t}=\frac{E(Z^{N(t+\Delta t)}-Z^{N(t)})}{\Delta t} \\ =\frac{E(Z^{N(t)}(Z^{N(t+\Delta t)-N(t)}-1))}{\Delta t}=\frac{E(Z^{N(t)-N(0)}(Z^{N(t+\Delta t)-N(t)}-1))}{\Delta t} \end{gathered}$$

  由于泊松过程具有独立增量特性，(0,t),(t,t+\Delta t)两段时间没有交叠，因此是独立的，因此这个期望可以拆分成两部分

$$\frac{d{G}_{N(t)}(Z)}{dt}=\frac{E(Z^{N(t)})E(Z^{N(t+\Delta t)-N(t)}-1)}{\Delta t}=\frac{G_{N(t)}(Z)E(Z^{N(t+\Delta t)-N(t)}-1)}{\Delta t}$$

  由于泊松过程具有平稳增量特性，增量的分布只与时间的差值有关系，因此

$$E(Z^{N(t+\Delta t)-N(t)}-1)=E(Z^{N(\Delta t)}-1)=E(Z^{N(\Delta t)})-1$$

  然后我们把这个母函数表示出来

$$\begin{gathered} E(Z^{N(\Delta t)})-1 \\ =P(N(\Delta t)=0)Z^0-1+P(N(\Delta t)=1)Z+\sum _{k\ge 2}P(N(\Delta t)=k)Z^k \end{gathered}$$

  现在这个母函数可以分成三个部分进行求解

$$\begin{gathered} \frac{d{G}_{N(t)}(Z)}{dt}=li{m}_{\Delta t\to 0}\frac{G_{N(t)}(Z)(E(Z^{N(\Delta t)})-1)}{\Delta t} \\ =li{m}_{\Delta t\to 0}\frac{G_{N(t)}(Z)(P(N(\Delta t)=0)-1+P(N(\Delta t)=1)Z+{\sum }_{k\ge 2}P(N(\Delta t)=k)Z^k)}{\Delta t} \end{gathered}$$

(2) 第一部分求解与指数函数证明

  首先我们要求解第一部分,这一部分其实可以进行拆解，拆解为(0,s)事件发生0次并且(s,delta t)事件也发生0次的概率

$$P(N(\Delta t)=0)=P(N(s)=0,N(\Delta t)-N(s)=0)$$

  根据独立增量特性，这个两个概率互相独立，可以变成乘积
$$P(N(\Delta t)=0)=P(N(s)=0)P(N(\Delta t)-N(s)=0)$$

  然后根据平稳增量特性，增量的分布特性只依赖于时间差

$$P(N(\Delta t)=0)=P(N(s)=0)P(N(\Delta t-s)=0)$$
  令g(t) =P( N(t) = 0)

$$\begin{gathered} \text{Let }g(t)=P(N(t)=0) \\ \text{Then} \\ g(\Delta t)=g(s)g(\Delta t-s) \\ \Rightarrow g(t+s)=g(s)g(t)\forall t,s\ge 0 \end{gathered}$$

  事实上，满足这个性质的函数只有指数函数

$$g(t)=exp(-\lambda t)\lambda >0$$

  我们可以来证明一下这个事情。证明分两步，首先证明其对数是线性的，然后再证明这个函数是指数。
$$\text{Prove}g(t)=exp(-\lambda t)\lambda >0\text{(1)}log(g(t))=-\lambda t$$
$$\text{(2)}g(t)=exp(-\lambda t)$$

  第一步也可以分成多个步骤执行。

{ 1 }  Prove  g ( t ) > 0 \{1\} \text{ Prove } g(t) >0 {1} Prove g(t)>0

  首先要证明g(t) >0

$$g(t)=g(\frac{t}{2})g(\frac{t}{2})=g^2(\frac{t}{2})\ge 0$$

  这里只能证明g(t)是不小于0的，我们还要证明，g(t)是非零的，可以证明如果有一个点等于0，g(t)是恒为0的平凡情况，可以舍弃

$$\begin{gathered} g(t_0)=0 \\ \Rightarrow g(\frac{t_0}{2})=0\Rightarrow g(\frac{t_0}{4})=0\Rightarrow g(\frac{t_0}{2^n})=0 \\ li{m}_{n\to 0}g(\frac{t_0}{2^n})=g(0)=0 \\ \Rightarrow g(t+0)=g(t)g(0)=0 \end{gathered}$$

  因此g(t)应该是恒大于0的

$$\Rightarrow g(t)>0$$

  然后我们要证明这个对数具有线性性质。

{ 2 }  Prove  h ( t ) = l o g ( g ( t ) ) = − λ t \{2\} \text{ Prove } h(t)=log(g(t)) = -\lambda t {2} Prove h(t)=log(g(t))=−λt

  根据已知条件可以得到

$$g(s+t)=g(s)g(t)\Rightarrow h(s+t)=h(s)+h(t)$$

  先假定取值范围s,t是自然数

{ 2 − 1 }  Let  ∀ s , t ∈ N h ( n ) = h ( n − 1 ) + h ( 1 ) = h ( n − 2 ) + 2 h ( 1 ) = n h ( 1 ) Let  h ( 1 ) = C h ( n ) = C n \{2-1\} \text{ Let } \forall s,t \in \N \\ h(n) = h(n-1)+h(1) = h(n-2)+2h(1) = n h(1) \\ \text{Let } h(1) = C \\ h(n) = C n {2−1} Let ∀s,t∈Nh(n)=h(n−1)+h(1)=h(n−2)+2h(1)=nh(1)Let h(1)=Ch(n)=Cn

  然后扩展范围，假设s,t是整数，与自然数的区别就在于有0点和负数

{ 2 − 2 }  Let  ∀ s , t ∈ Z h ( 0 ) = h ( 0 ) + h ( 0 ) ⇒ h ( 0 ) = 0 h ( 0 ) = h ( n ) + h ( − n ) 0 = C n + h ( − n ) ⇒ h ( − n ) = − C n \{2-2\} \text{ Let } \forall s,t \in \Z \\ h(0) = h(0) +h(0) \Rightarrow h(0) = 0 \\ h(0) = h(n) +h(-n) \\ 0 = Cn +h(-n) \Rightarrow h(-n) = -Cn {2−2} Let ∀s,t∈Zh(0)=h(0)+h(0)⇒h(0)=0h(0)=h(n)+h(−n)0=Cn+h(−n)⇒h(−n)=−Cn

  然后继续扩展范围，假设s,t是有理数，只需要考虑1/n的线性情况即可

{ 2 − 3 }  Let  ∀ s , t ∈ Q h ( 1 ) = n ∗ h ( 1 n ) ⇒ h ( 1 n ) = C ∗ 1 n \{2-3\} \text{ Let } \forall s,t \in \mathbb {Q} \\ h(1)=n*h(\frac{1}{n}) \Rightarrow h(\frac{1}{n}) = C*\frac{1}{n} {2−3} Let ∀s,t∈Qh(1)=n∗h(n1​)⇒h(n1​)=C∗n1​

  最后，把s,t范围扩展到实数，即可完成线性的证明

{ 2 − 4 }  Let  ∀ s , t ∈ R \{2-4\} \text{ Let } \forall s,t \in \mathbb {R} \\ {2−4} Let ∀s,t∈R

  在这里，我们假设有一个有理数数列g_n，当n趋近于无穷大的时候，g_n可以逼近任何一个实数

∃ { g n } x ∈ R l i m n → ∞ g n = x \exist \{ g_n\} \\ x \in \R \\ lim_{n \rightarrow \infty} g_n = x ∃{gn​}x∈Rlimn→∞​gn​=x

  因此，我们假设x是个实数，就可以表示为

$$h(x)=h(li{m}_{n\to \infty }{g}_n)$$

  根据连续函数极限的性质，上式可以表示为

$$h(x)=li{m}_{n\to \infty }h(g_n)=li{m}_{n\to \infty }C{g}_n=Cx$$

  我们就证明了这个对数具有性质

$$\forall t\Rightarrow h(t)=-\lambda t$$

  然后就证明了g(t)是指数函数

$$g(t)=exp(-\lambda t)$$

  然后我们就得到了第一部分的结果

$$P(N(\Delta t)=0)=exp(-\lambda \Delta t)(a)$$

(3) 第三部分求解与稀疏性

  我们的稀疏性条件还没有用。在这里，我们需要给稀疏性做一个解析性的定义。就是在某个点上，持续发生n次的概率相比于持续发生1次的概率很小，会得到一个高阶无穷小

$$li{m}_{\Delta t\to 0}\frac{P(N(\Delta t)\ge 2)}{P(N(\Delta t)=2)}=O(\Delta t)=0$$

  然后我们可以把这个形式构造出来

$$\begin{gathered} P(N(\Delta t)=1)Z+\sum _{k\ge 2}P(N(\Delta t)=k)Z^k \\ =P(N(\Delta t)=1)(Z+\sum _{k\ge 2}\frac{P(N(\Delta t)=k)}{P(N(\Delta t)=1)}{Z}^k) \end{gathered}$$

  因为我们发现这里面多了一个Z^k，我们希望把这个东西给抹掉，我们要从其他地方想办法

  由于Z变换是具有收敛域的，我们可以来看一下

$$G_{N(t)}(Z)=E(Z^N(t))=\sum _k{Z}^{k}P(N(t)=k)$$

  我们可以看出来，如果这个累加和要收敛，必定有

$$|Z|<1$$

  现在，我们就可以继续考虑原来的式子了

$$\begin{gathered} \sum _{k\ge 2}\frac{P(N(\Delta t)=k)}{P(N(\Delta t)=1)}{Z}^k\le \sum _{k\ge 2}\frac{P(N(\Delta t)=k)}{P(N(\Delta t)=1)}|Z{|}^k \\ \le \sum _{k\ge 2}\frac{P(N(\Delta t)=k)}{P(N(\Delta t)=1)}=\frac{P(N(\Delta t)\ge 2)}{P(N(\Delta t)=1)}=O(\Delta t) \\ li{m}_{\Delta t\to 0}\frac{P(N(\Delta t)\ge 2)}{P(N(\Delta t)=1)}=0 \end{gathered}$$

  因此，由夹逼定理

$$0<li{m}_{\Delta t\to 0}\sum _{k\ge 2}\frac{P(N(\Delta t)=k)}{P(N(\Delta t)=1)}{Z}^k<0$$

  即

$$li{m}_{\Delta t\to 0}\sum _{k\ge 2}\frac{P(N(\Delta t)=k)}{P(N(\Delta t)=1)}{Z}^k=0(b)$$

  然后我们可以看看原来的式子
$$\begin{gathered} \frac{d{G}_{N(t)}(Z)}{dt}=li{m}_{\Delta t\to 0}\frac{G_{N(t)}(Z)(E(Z^{N(\Delta t)})-1)}{\Delta t} \\ =li{m}_{\Delta t\to 0}\frac{G_{N(t)}(Z)(P(N(\Delta t)=0)-1+P(N(\Delta t)=1)Z+{\sum }_{k\ge 2}P(N(\Delta t)=k)Z^k)}{\Delta t} \\ =li{m}_{\Delta t\to 0}\frac{G_{N(t)}(Z)[P(N(\Delta t)=0)-1+P(N(\Delta t)=1)(Z+{\sum }_{k\ge 2}\frac{P(N(\Delta t)=k)}{P(N(\Delta t)=1)}{Z}^k)]}{\Delta t}(i) \end{gathered}$$

(4) 第二部分求解

  通过观察(i)式，我们发现，现在只有第二个概率不清楚了

$$P(N(\Delta t)=1)$$

  我们可以利用概率和是1来求解这个概率

$$\begin{gathered} P(N(\Delta t)=0)+P(N(\Delta t)=1)+\sum _{k\ge 2}P(N(\Delta t)=k)=1 \\ P(N(\Delta t)=0)+P(N(\Delta t)=1)(1+\sum _{k\ge 2}\frac{P(N(\Delta t)=k)}{P(N(\Delta t)=1)})=1 \\ P(N(\Delta t)=0)+P(N(\Delta t)=1)(1+\frac{P(N(\Delta t)\ge 2)}{P(N(\Delta t)=1)})=1 \\ P(N(\Delta t)=1)(1+O(\Delta t))=1-P(N(\Delta t)=0) \end{gathered}$$

  左右除以delta t

$$\begin{gathered} \frac{P(N(\Delta t)=1)(1+O(\Delta t))}{\Delta t}=\frac{1-P(N(\Delta t)=0)}{\Delta t} \\ li{m}_{\Delta t\to 0}\frac{P(N(\Delta t)=1)}{\Delta t}=\frac{1-exp(-\lambda \Delta t)}{\Delta t}=\lambda (c) \end{gathered}$$

(5) 最终求解

  现在我们已经有了所有需要的东西，可以求解母函数的表达式了

  我们把(a)(b)©代入(i)式子

$$\begin{gathered} \frac{d{G}_{N(t)}(Z)}{dt}=li{m}_{\Delta t\to 0}\frac{G_{N(t)}(Z)[P(N(\Delta t)=0)-1+P(N(\Delta t)=1)(Z+{\sum }_{k\ge 2}\frac{P(N(\Delta t)=k)}{P(N(\Delta t)=1)}{Z}^k)]}{\Delta t} \\ =li{m}_{\Delta t\to 0}{G}_{N(t)}(Z)(\frac{exp(-\lambda \Delta t)-1}{\Delta t}+\frac{P(N(\Delta t)=1)(Z+{\sum }_{k\ge 2}\frac{P(N(\Delta t)=k)}{P(N(\Delta t)=1)}{Z}^k)}{\Delta t}) \\ =G_{N(t)}(Z)(-\lambda +\lambda Z) \end{gathered}$$

  然后我们求解这个微分方程

$$\begin{gathered} \frac{d{G}_{N(t)}(Z)}{dt}=G_{N(t)}(Z)(-\lambda +\lambda Z) \\ {G}_{N(t)}(Z)=G_{N(0)}(Z)exp((-\lambda +\lambda Z)t) \\ =E(Z^{N(0)})exp((-\lambda +\lambda Z)t)=exp((-\lambda +\lambda Z)t) \end{gathered}$$

  我们就可以得到了母函数的表达式

$$G_{N(t)}(Z)=exp(-\lambda t)exp(\lambda Zt)$$

2.3.3 泊松过程与泊松分布

  我们把母函数做无穷级数展开，得到Z变换的形式，就可以得到一定时刻内事件发生k次的概率分布了

$$\begin{gathered} G_{N(t)}(Z)=exp(-\lambda t)exp(\lambda Zt) \\ =exp(-\lambda t)\sum _{k=0}^{\infty }\frac{(\lambda t{)}^k}{k!}{Z}^k \\ =\sum _{k=0}^{\infty }P(N(t)=k)Z^k \end{gathered}$$

  我们可以逐项对应，就得到了泊松分布。

$$P(N(t)=k)=\frac{(\lambda t{)}^k}{k!}exp(-\lambda t)$$

  现在，我们就知道了为什么这个点过程叫做泊松过程了。因为时间t内事件发生k次的概率是服从泊松分布的。

  因为泊松过程是点过程做了三个特化的假设得到的，因此，泊松过程是最简单的点过程。

$$\text{Poisson Processes}$$

  我们也可以根据平稳增量特性对泊松过程进行变形

$$P(N(t)-N(s)=k)=P(N(t-s)=k)=\frac{(\lambda (t-s){)}^k}{k!}exp(-\lambda (t-s))$$

  因此，我们可以得到任意一段时间内事件发生次数的概率

3. 泊松过程的统计特性

3.1 均值与方差

$$\begin{gathered} Z\sim P(\lambda ) \\ P(Z=k)=\frac{{\lambda }^k}{k!}exp(-\lambda ) \\ E(Z)=\lambda \\ Var(Z)=\lambda \end{gathered}$$

  我们可以计算一下这个点过程的均值和方差，事实上，由于泊松分布的均值和方差都是λ，我们也可以得到泊松过程的均值和方差

$$\begin{gathered} E(N(t))=\lambda t \\ Var(N(t))=\lambda tVar(N(t))=E[N(t)-E(N(t)){]}^2=E(N(t){)}^2-E^2(N(t)) \\ \Rightarrow E[(N(t){)}^2]=\lambda t+(\lambda t{)}^2 \end{gathered}$$

3.2 强度

  这里我们给λ的含义进行说明，我们发现λ是单位时间内发生事件的平均次数，因此被称为强度,是个常数。

$$\lambda =\frac{dE(N(t))}{dt}$$

3.3 二阶矩

  下面我们可以计算一下泊松过程的二阶矩

$$\begin{gathered} R_N(t,s)=E(N(t)N(s)) \\ =E((N(t)-N(s)+N(s))N(s)) \\ =E((N(t)-N(s))N(s))+E(N(s)N(s)) \\ =E(N(t)-N(s))E(N(s))+E(N^2(s)) \\ =\lambda (t-s)\lambda s+(\lambda s+(\lambda s{)}^2) \\ ={\lambda }^{2}ts+\lambda s={\lambda }^{2}ts+\lambda min(t,s) \end{gathered}$$

  我们可以发现这个二阶矩是不平稳的，因此二阶矩不是泊松过程的主要研究手段

3.4 样本轨道

$$\text{Jumping and Waitting}$$

  泊松过程就是一个等待和跳跃的过程。并且泊松过程是递增的

4. 泊松过程的两要素及其分布规律

4.1 泊松过程两要素

  构成泊松过程有两个重要的因素，就是事件以及等待事件的间隔时间。

• 事件
• 等待事件的间隔

  现在我们希望计算一下这个两个重要要素的分布情况。也就是，我们希望知道两次事件发生的间隔时间的分布情况，以及事件发生时刻的分布情况。

• 两次事件发生的间隔时间的分布
• 事件发生时刻的分布

4.2 泊松过程两要素的分布

4.2.1 时间间隔的分布

  首先，我们来计算两次事件发生的时间间隔的分布情况。

  先来计算第一次事件发生的间隔服从什么分布。

$$P(T_1\le t)$$

  事实上，对于泊松过程，我们只知道时间t内事件发生次数的统计规律，因此我们要把这个第一次事件发生的间隔转化为次数，也就是事件至少发生了一次的概率

$$\begin{gathered} F_{T_1}(t)=P(T_1\le t)=P(N(t)\ge 1)=1-P(N(t)=0) \\ =1-exp(-\lambda t) \end{gathered}$$

  然后我们求这个时间间隔的概率密度

$$f_{T_1}(t)=\frac{d{F}_{T_1}(t)}{dt}=\lambda exp(-\lambda t)t\ge 0$$

  是一个指数分布

  如果我们要计算后面时间间隔的分布，事实上，第二个时间间隔是无记忆性的。除了初始值与之前不同之外，其他情况是完全一样的。因此，后面全部都是指数的。这个叫做再生性质

$$T_1,T_2,...,T_n(i.i.d.)\sim Exp(\lambda )$$

  由于独立增量特性，T1到Tn都是独立同分布的

$$\text{Regenerated}$$

4.2.2 事件发生时间的分布

  其实，事件发生的时间，就是事件发生间隔和的分布

$$S_n=T_1+...+T_n$$

  首先，联合分布与单个的分布之间其实是卷积的关系，但是这样会计算很复杂。因此，我们使用特征函数的方法来计算这个和的分布。

  我们先来计算单个时间间隔的特征函数

$$\begin{gathered} {\varphi }_{T_k}(\omega )=E(exp(j\omega t))={\int }_0^{+\infty }\lambda exp(-\lambda t)exp(j\omega t)dt \\ =\frac{\lambda }{j\omega -\lambda }exp((j\omega -\lambda )t){|}_0^{+\infty }=\frac{\lambda }{\lambda -j\omega } \end{gathered}$$

  因为每个时间间隔都是独立同分布的，所以若干个T的特征函数是乘积的形式

$$\begin{gathered} {\varphi }_{S_n}(\omega )=(\frac{\lambda }{\lambda -j\omega }{)}^n \\ {f}_{S_n}(t)={\int }_{-\infty }^{\infty }(\frac{\lambda }{\lambda -j\omega }{)}^{n}exp(-j\omega t)d\omega \end{gathered}$$

  可以使用留数定理求解这个积分。这里不做计算。我们可以用另外的方法来进行求解这个问题，从概率角度出发进行计算。

$$F_{S_n}(t)=P(S_n\le t)$$

  现在要求第n次事件发生的时刻，可以转化为t时刻内事件至少发生了n次的概率

$$\begin{gathered} F_{S_n}(t)=P(S_n\le t)=P(N(t)\ge n) \\ =\sum _{k=n}^{+\infty }\frac{(\lambda t{)}^k}{k!}exp(-\lambda t) \end{gathered}$$

  概率密度就是分布函数求导数

$$f_{S_n}(t)=\frac{d}{dt}{F}_{S_n}(t)=\sum _{k=n}^{+\infty }(\lambda \frac{(\lambda t{)}^{k-1}}{k!}exp(-\lambda t)-\lambda \frac{(\lambda t{)}^k}{k!}exp(-\lambda t))$$

  这个导数前项和后项是递推式，可以消去，因此最终能够得到

$$f_{S_n}(t)=\lambda \frac{(\lambda t{)}^{n-1}}{(n-1)!}exp(-\lambda t)-li{m}_{n\to \infty }\lambda \frac{(\lambda t{)}^n}{n!}exp(-\lambda t)$$

  证明后面的极限为0

$$\begin{gathered} li{m}_{n\to \infty }\lambda \frac{(\lambda t{)}^n}{n!}exp(-\lambda t) \\ \lambda >0t>0\Rightarrow exp(-\lambda t)\in (0,1) \\ \text{Let }c=\lambda t \\ 0<li{m}_{n\to \infty }\frac{c^n}{n!}=\frac{c\ast c\ast ...\ast c}{1\ast 2\ast ...\ast c}\ast li{m}_{n\to \infty }\frac{c\ast ...\ast c}{(c+1)\ast ...\ast n} \\ =M\ast li{m}_{n\to \infty }\frac{c}{c+1}\ast ..\ast \frac{c}{n}<M\ast li{m}_{n\to \infty }\frac{c}{n}=0 \end{gathered}$$

  由夹逼定理

$$li{m}_{n\to \infty }\frac{c^n}{n!}=0$$

  

$$f_{S_n}(t)=\lambda \frac{(\lambda k{)}^{n-1}}{(n-1)!}exp(-\lambda t)$$

$$\text{Gamma Distribution}$$

  得到的是一个gamma分布，得名与gamma函数有关。gamma函数的积分是阶乘，因此下面的阶乘是一种归一化

$$\Gamma (\alpha )={\int }_0^{\infty }{t}^{\alpha -1}exp(-t)dt=(\alpha -1)!$$

  因此，对于泊松过程，事件之间的间隔是指数分布；时间发生的时刻是间隔的和，是gamma分布。

5. 小结

• 泊松过程是最简单的点过程
• 泊松过程具有三个重要性质：独立增量、平稳增量、稀疏性
• 泊松过程能够求得解析解
• 基于泊松过程的解析解可以得到很多随机分布，方法就是把这个随机分布转化为事件发生的次数

  学了高斯过程可以做基金经理(金融行业)，处理组合投资问题。学会了泊松过程可以去做精算师(保险行业)

  保险就是两个点过程的结合，一个是买保险的人，一个是要求索赔的人。第一个点过程是收入，第二个点过程是支出。设计一个产品要针对这两个点过程。需要知道要卖多少钱和赔多少钱。