立方体上的随机游动

昨天的随机过程课程有一道有趣的习题：

问题： 一个粒子在正立方体的顶点上做随机游动，每次有 $\frac{1}{4}$ 的概率停留不动，有 $\frac{1}{4}$ 的概率移动至相邻的顶点. 试求从某顶点 $v$ 出发首次回到 $v$ 的平均时间.

假设这立方体的8个顶点分别标记为 $0,1,\cdots ,7$ . 为方便起见，我们来讨论从$0$出发的粒子首次回到 $0$ 的平均时间. 设随机变量 $X_n$ 代表 $n$ 步游动后粒子的位置，则$X_n$将取值于 $0,1,\cdots ,7$. 按照标准的记号，定义
τ 0 = inf ⁡ { n ⩾ 0 : X n = 0 } \tau_0=\inf\{n\geqslant0:X_n=0\} τ0​=inf{n⩾0:Xn​=0}是粒子首次回到 $0$ 的时刻.

---

线性方程组法

解决这类平均时间的问题的一般方法是为返回时间建立合适的线性方程组. 定义
$$x_i=E_i{\tau }_0,i=0,1,\cdots ,7$$则 $x_i$ 就是粒子从 $i$ 出发时首次返回 $0$ 的平均时间. 由于立方体的对称性，从 $1,3,7$ 出发返回 $0$ 的平均时间应该相等，从 $1,3,7$ 出发返回 $0$ 的平均时间应该相等，即
$$x_0=x,x_1=x_3=x_4=y,x_2=x_7=x_5=z,x_6=w$$因此我们只需为 $x,y,z,w$ 建立线性方程组.

显然 $x=0$(从 $0$ 出发的粒子已经位于 $0$). 关于 $y$ 我们进行如下的推导: 从1出发的粒子，有 $\frac{1}{4}$ 的概率仍位于 $1$, 所需时间仍为 $x$; 有 $\frac{1}{4}$ 的概率返回 $0$, 所需时间为 $0$; 有 $\frac{2}{4}$ 的概率抵达 $2,7$, 所需时间为 $y$, 因而
$$y=\frac{1}{4}x+\frac{1}{4}y+\frac{2}{4}z+1$$关于$z,w$可建立类似的方程，并得到
$$\{\begin{array}{rl}x& =0\\ y& =\frac{1}{4}x+\frac{1}{4}y+\frac{2}{4}z+1\\ z& =\frac{2}{4}y+\frac{1}{4}z+\frac{1}{4}w+1\\ w& =\frac{3}{4}z+\frac{1}{4}w+1\end{array}$$求解这个方程组我们得到 $x=0,y=\frac{28}{3},z=12,w=\frac{40}{3}$. 下面我们就可以来计算从 $0$ 出发的粒子回到 $0$ 的平均时间 $T$ 了. 从 $0$ 出发的粒子有 $\frac{1}{4}$ 的概率停留不动, 剩余所需时间为0; 有 $\frac{3}{4}$ 的概率抵达相邻的顶点, 剩余所需时间为 $y$, 故
$$T=\frac{1}{4}\cdot 0+\frac{3}{4}\cdot y+1=8$$即返回 $0$ 的平均时间为 $8$.

---

不变分布法

现在我们采取下面的证明思路: 当粒子在立方体上运动 $N$ 次后，取到 $0$ 的次数约为 $\frac{N}{8}$，因为取到 $0$ 的频率为 $\frac{1}{8}$；取到 $0$ 的次数也约为 $\frac{N}{T}$，因为 $T$ 是返回 $0$ 的平均时间. 两者相等意味着
$$\frac{N}{8}\approx \frac{N}{T}$$
因此 $T=8$, 从而得到了与第一种方法相同的结果.

---

显然上面的表述是非常不严谨的, 严格描述这种方法需要用到马氏链的不变分布和遍历定理. 由于状态空间 S = { 0 , 1 , ⋯   , 7 } S=\{0,1,\cdots,7\} S={0,1,⋯,7} 是有限且不可约，因此存在唯一的不变分布 $\pi$, 并且 ${\pi }_0=\cdots {\pi }_7=\frac{1}{8}$. 这意味着, 当粒子在立方体的顶点上运动充分长的时间后，取到各个顶点的频率都近似为 $\frac{1}{8}$. 如果记
σ 0 = inf ⁡ { n ⩾ 1 : x n = 0 } \sigma_0=\inf\{n\geqslant1:x_n=0\} σ0​=inf{n⩾1:xn​=0}则所求平均返回时间 $T$ 即为 $T=E_0{\sigma }_0$. 遍历定理告诉我们,
$${\pi }_0=\frac{1}{E_0{\sigma }_0}$$即粒子在运动中取到 $0$ 的频率趋向于平均返回时间的倒数. 因此 $T=\frac{1}{{\pi }_0}=8$.

---

参考资料

[1] 钱敏平,龚光鲁,陈大岳,章复熹《应用随机过程》高等教育出版社.