指数随机变量 泊松过程跳_随机过程|笔记整理（5）——无限状态马尔科夫链的进一步探讨，泊松过程引入，复合泊松过程...

上一节笔记：

学弱猹：随机过程|笔记整理（4）——返回时间，访问频率定理应用，离出分布，离出时间​zhuanlan.zhihu.com

——————————————————————————————————————————

大家好！

这一节我们开始对无限状态马尔可夫链做进一步的介绍。无限状态马尔可夫链的性质和有限状态略有不同，因此在一些问题的分析上，需要更加小心和注意。如果还有空的话，会给大家介绍泊松分布的基本概念。

那么我们开始吧。

目录

• 无限状态马尔可夫链的进一步探讨
• 泊松过程
• 复合泊松过程

无限状态马尔可夫链的进一步探讨

对于无限状态马尔可夫链，主要的问题在于对常返性和平稳分布的探讨。简单来说，在无限状态的情况下，因为状态空间

是一个无限集（别忘了，

我们要求可数），所以不可约+闭集 不能够再得到马尔可夫链常返的结论。同样，平稳分布也 并不是在不可约，常返，闭集等性质存在的时候，就能够存在的。因此在这一节，我们会用一个例子贯穿始终，观察 状态无限的时候，性质究竟会如何变化，又应该如何刻画。

Problem 1
考察一个随机游走问题。一个分子在数轴

上向左或者向右移动。并且满足

，

。推导这个马尔可夫链在

的取值变化的时候，对应平稳分布性质的改变。

这里

就可以理解为，

分子向右移动一步的概率为

。

研究平稳分布的性质，是因为无限状态马尔可夫链与有限状态，一个最大的区别就体现在了平稳分布的存在性上。现在我们不能够说平稳分布存在，所以我们只能先计算平稳测度。但无所谓，因为计算平稳测度，其实归根到底还是可以使用之前提到的细致平衡条件（见第3节

学弱猹：随机过程|笔记整理（3）——无限状态的平稳测度，返回时间，访问频率：几个定理的证明​zhuanlan.zhihu.com

通过相邻两步之间的表达式，可以计算出

这里我们设

是我们要的平稳测度的第

个元素。这个推导不难，我们留给读者。

有了这个之后，在运算合法的情况下，我们可以算出

为什么叫运算合法？是因为我们之前提过，如果是一个平稳分布，那么起码要保证

。但是很明显，如果

，这个条件是不满足的，潜在意思就是，

这个计算是不合法的，中间一定有出问题的步骤。但至少我们有了一个思考的方向，可以通过这个阈值

，来讨论我们

的取值。

如果

，那么我们有

，潜在意思是

可以认为是一个

等比数列，所以通过等比数列求和公式，可以得到我们

的表达式，这里我们就不细推导了，非常简单。

但如果

，这里就有问题了。首先因为

，所以从

出发，计算

的时候，数值就会呈“指数爆炸”的形态。那么很明显，因为我们要计算

以对平稳测度标准化为平稳分布，但是这样的话，

就

不是一个有限值，所以就没有办法标准化。总结一下，就是在

的时候，

平稳分布是不存在的。同样的，

的时候，虽然不会指数爆炸，但是我们会得到每一个

都是相等的值。这样也是不行的，因为

求一个无限和得到的值依然是无限的。所以平稳分布依然是不存在的。

如果我们到此为止了，那么相当于在说

是一个意思。

但事实上完全不是。要说清这一点，我们要从 常返这个概念出发，重新看这个问题。

如果

，那么每一个

都是有值的。并且根据

，我们就可以得到

。从

出发，有限次之后会回到

，这就是常返的定义。如果

，要想研究常返性，我们可以研究“先到达远点

的概率“，潜在意思就是把它变成一个

离出分布问题。

在这个题中，我们可以得出这么一个结论。

Lemma 1:

，其中

。

这里我们设

，那么我们有

，

。这样的话，会有

我们不难得到这个表达式的一个简便写法

（这里通过观察不难发现，但如果是学过数学竞赛或做过江苏高考，应该知道这种递推数列的通项求解其实是有通法的，后面我们会在另外一个例子简单介绍）因此可以得到的是

这是一个很经典的等比数列，并且在

的时候，公比是小