【随机过程】15 - 离散时间马尔科夫链状态的常返性

离散时间马尔科夫链状态的常返性

1. 马尔科夫链的状态

  这部分来探讨马尔科夫链状态的分类问题

$$\text{Classification of Status}$$

{ Z n } ⇒ { 1 , 2 , 3 , . . . } \{ Z_n\} \Rightarrow \{1,2,3,... \} {Zn​}⇒{1,2,3,...}

1.1 常返态的定义

  马尔科夫链的状态包括常返态和非常返态。直观上的定义就是

• 常返态：经常返回来的状态，一旦马尔科夫链来到这个状态就不容易走，一旦离开这个状态又经常回来
• 非常返态：马尔科夫链不容易来到这个状态，几乎不回来，近似被抛弃的状态

$$\begin{gathered} \text{Recurrent Stauts} \\ \text{Non-Recurrent Status} \end{gathered}$$

  常返态对于马尔科夫链稳态分析非常重要，因为我们只需要盯着常返态看就行了。

  下面我们对常返态下一个解析上的定义

$$\begin{gathered} iRecurrent\iff \sum _{k=1}^{\infty }{f}_{ii}(k)=1(a) \\ iNon-Recurrent\iff \sum _{k=1}^{\infty }{f}_{ii}(k)<1(i) \end{gathered}$$

  常返态的定义有很多，但是都是可以相互等价的，这里对常返态的定义是通过首达概率定义的。fii(k)是从i状态出发，经过k步首次回到i的概率

  这里需要做两点注解

• 首达概率求和不会超过1
• 转移概率求和等于多少都是有可能的

$$\begin{gathered} \sum _{k=1}^{\infty }{f}_{ii}(k)\le 1 \\ \sum _{k=1}^{\infty }{P}_{ii}(k)\in [0,\infty ) \\ \sum _{k=1}^{\infty }{f}_{ii}(k)\le \sum _{k=1}^{\infty }{P}_{ii}(k)(ii) \end{gathered}$$

  我们可以这样考虑这个概率。首达概率是转移概率的一个子集，因此首达概率一定小于转移概率。而且，不同的k的首达概率之间没有包含关系；而不同k的转移概率之间是有包含关系的，相当于会连加很多回。

1.2 常返态的判据

  下面我们想知道如何判断一个状态是常返态。因为，首达概率其实是很难计算的，ck方程不能拆解出首达概率，因此，如果使用常返态的定义，用首达概率判断常返态是行不通的。我们希望从常返态的定义出发，将首达概率转换为转移概率做判据。

  我们用转移概率的时间分解方程来进行分析

$$P_{ij}(n)=\sum _{k=1}^n{f}_{ij}(k)P_{jj}(n-k)\text{Temporal}(iii)$$

  对于空间分解方程来说，可以看做是矩阵的乘法，而这里面是对时间分解的，对k来说是个离散的卷积。因此我们应该使用变换域分析来看待这个事情。

  连续时间的变换域分析可以使用傅里叶变换和拉普拉斯变换。而离散时间的变换域分析可以使用Z变换或者离散时间傅里叶变换。

  这里我们使用Z变换来处理

$$\begin{gathered} P_{ij}(Z)=\sum _{n=0}^{\infty }{P}_{ij}(n)Z^n \\ {f}_{ij}(Z)=\sum _{n=1}^{\infty }{f}_{ij}(n)Z^n \end{gathered}$$

  这里我们注意一下，上面的展开是从0开始，下面的展开是从1开始。因此，我们需要定义一下零步转移概率和零步首达概率

$$P_{ij}(0)=\{\begin{array}{ll}1& i=j\\ 0& i\cancel{=}j\end{array}={\delta }_{ij}$$
  这是零步转移概率的定义，从i出发经过0步到达j，如果i和j相同，必然概率是1，而如果1和j不相同，经过零步必然到达不了，概率就是0。

$$f_{ij}(0)=0$$

  零步首达概率就是，从i出发经过0步首次到达j的概率，因此如果i和j相同，都没有离开，也就谈不上首次到达，因此零步首达概率无论如何都是0

  我们对时间分解等式两边同时做Z变换

$$P_{ij}(n)=\sum _{k=1}^n{f}_{ij}(k)P_{jj}(n-k)$$

$$\begin{gathered} \sum _{n=0}^{\infty }{P}_{ij}(n)Z^n=\sum _{n=0}^{\infty }(\sum _{k=1}^n{f}_{ij}(k)P_{jj}(n-k))Z^n \\ =\sum _{n=0}^{\infty }\sum _{k=1}^n{f}_{ij}(k)Z^k{P}_{jj}(n-k)Z^{n-k} \end{gathered}$$

  我们想交换后面式子的求和顺序,如果k和n都是1，就好交换，但是这里n那里多了一块

  所以我们要把式子变一下,然后交换求和次序

$$\begin{gathered} \sum _{n=0}^{\infty }{P}_{ij}(n)Z^n=P_{ij}(0)Z^0+\sum _{n=1}^{\infty }{P}_{ij}(n)Z^n \\ =P_{ij}(0)+\sum _{n=1}^{\infty }\sum _{k=1}^n{f}_{ij}(k)Z^k{P}_{jj}(n-k)Z^{n-k} \\ ={\delta }_{ij}+\sum _{n=1}^{\infty }\sum _{k=1}^n{f}_{ij}(k)Z^k{P}_{jj}(n-k)Z^{n-k} \end{gathered}$$

$$\begin{gathered} \sum _{n=1}^{\infty }\sum _{k=1}^n{f}_{ij}(k)Z^k{P}_{jj}(n-k)Z^{n-k} \\ =\sum _{k=1}^{\infty }\sum _{n=k}^{\infty }{f}_{ij}(k)Z^k{P}_{jj}(n-k)Z^{n-k} \end{gathered}$$

  代入式子

$$\begin{gathered} \sum _{n=0}^{\infty }{P}_{ij}(n)Z^n={\delta }_{ij}+\sum _{n=1}^{\infty }\sum _{k=1}^n{f}_{ij}(k)Z^k{P}_{jj}(n-k)Z^{n-k} \\ ={\delta }_{ij}+\sum _{k=1}^{\infty }\sum _{n=k}^{\infty }{f}_{ij}(k)Z^k{P}_{jj}(n-k)Z^{n-k} \\ ={\delta }_{ij}+\sum _{k=1}^{\infty }{f}_{ij}(k)Z^k\sum _{n=k}^{\infty }{P}_{jj}(n-k)Z^{n-k} \\ \Rightarrow P_{ij}(Z)={\delta }_{ij}+F_{ij}(Z)P_{jj}(Z)(iv) \end{gathered}$$

  我们就得到了转移概率时间分解的Z变换表示式。

  我们令i=j，并且令Z趋近于1，就可以得到转移概率和首达概率的变换关系

$$\begin{gathered} \text{Let }i=j \\ {P}_{ii}(Z)=1+F_{ii}(Z)P_{ii}(Z) \\ {P}_{ii}(Z)=\frac{1}{1-F_{ii}(Z)} \\ \sum _{n=0}^{\infty }{P}_{ii}(n)Z^n=\frac{1}{1-{\sum }_{n=1}^{\infty }{f}_{ii}(n)Z^n} \\ \text{Let }Z\to 1 \\ \sum _{n=0}^{\infty }{P}_{ii}(n)=\frac{1}{1-{\sum }_{n=1}^{\infty }{f}_{ii}(n)} \end{gathered}$$

  我们可以看出来，如果i状态是常返的，首达概率的累加和是1，转移概率的累加和就是发散的。而如果i状态是非常返的，首达概率累加和就是小于1，转移概率的累加和就是收敛的。

  于是我们就基于常返态的定义，推导出了常返态的判据

$$\begin{gathered} \text{Definition}iRecurrent\iff \sum _{k=1}^{\infty }{f}_{ii}(k)=1 \\ iNon-Recurrent\iff \sum _{k=1}^{\infty }{f}_{ii}(k)<1 \end{gathered}$$

$$\begin{gathered} \text{Criteria For Recurrent} \\ \sum _{n=0}^{\infty }{P}_{ii}(n)=\{\begin{array}{ll}\infty & Recurrent\\ <\infty & Non-Recurrent\end{array}(b) \end{gathered}$$

1.3 常返态的性质

  下面介绍与常返性有关的一些性质

1.3.1 相通与常返性

  如果i和j是相通的，i和j必定有相同的常返性

  我们证明一下这个结论

$$\begin{gathered} i\leftrightarrow j\Rightarrow \exists m,n{P}_{ij}(m)>0,P_{ji}(n)>0\text{Then} \\ \sum _{k=0}^{\infty }{P}_{ii}(k)=P_{ii}(0)+...+P_{ii}(m+n-1)+\sum _{k=0}^{\infty }{P}_{ii}(m+n+k) \\ \Rightarrow \sum _{k=0}^{\infty }{P}_{ii}(k)\ge \sum _{k=0}^{\infty }{P}_{ii}(m+n+k)\ge \sum _{k=0}^{\infty }{P}_{ij}(m)P_{jj}(n)P_{ji}(k) \\ =P_{ij}(m)(\sum _{k=0}^{\infty }{P}_{jj}(k))P_{ji}(n) \end{gathered}$$

  于是有这样的推论

$$\begin{gathered} P_{ij}(m)>0P_{ji}(n)>0 \\ \text{Assuming j Recurrent} \\ \sum _{n=0}^{\infty }{P}_{jj}(n)=\infty \\ \Rightarrow P_{ij}(m)(\sum _{k=0}^{\infty }{P}_{jj}(k))P_{ji}(n)=\infty \\ \Rightarrow \sum _{k=0}^{\infty }{P}_{ii}(k)\ge P_{ij}(m)(\sum _{k=0}^{\infty }{P}_{jj}(k))P_{ji}(n)=\infty \\ \Rightarrow \text{i Recurrent} \end{gathered}$$

  因此，如果j是常返的，i必定也是常返的。反过来也成立，只需要把i和j调换位置证明即可。

  于是，我们证明了：如果i和j是相通的，i和j必定有相同的常返性

1.3.2 转移概率与常返性

  我们想说明两个与转移概率与常返态的关系。如果i是非常返态，从i经过n步回到i的概率是0，并且从k经过n步回到i的概率也是0

$$\begin{gathered} i\text{ Non-Recurrent} \\ \Rightarrow P_{ii}(n)\to 0(n\to \infty ) \\ \Rightarrow P_{ki}(n)\to 0(n\to \infty ) \end{gathered}$$

  对于第一个式子的证明

$$\begin{gathered} \sum _{n=0}^{\infty }{P}_{ii}(n)<\infty \text{i Non-Recurrent} \\ \Rightarrow P_{ii}(n)\to 0(n\to \infty ) \end{gathered}$$

  如果i是非常返态，必定n步自转移概率收敛，因此无穷远处的通项必定是0，这是无穷级数的性质。

  然后证明第二个式子

  通过Z变换，我们已经得到了(iv)式子,这里我们令i不等于j,并且Z趋近于1

$$\begin{gathered} P_{ij}(Z)={\delta }_{ij}+F_{ij}(Z)P_{ij}(Z) \\ \text{Let }i\cancel{=}jZ\to 1 \\ {P}_{ij}(Z)=F_{ij}(Z)P_{jj}(Z) \\ \sum _{n=0}^{\infty }{P}_{ij}(n)=\sum _{n=1}^{\infty }{f}_{ij}(n)\sum _{n=0}^{\infty }{P}_{jj}(n) \end{gathered}$$

  由于首达时间的累加和肯定是小于1的,因此jj的转移概率与ij的转移概率和具有相同的收敛性

$$\begin{gathered} \sum _{n=1}^{\infty }{f}_{ij}(n)\le 1 \\ \sum _{n=0}^{\infty }{P}_{jj}(n)\sim \sum _{n=0}^{\infty }{P}_{ij}(n) \end{gathered}$$

  如果j是非常返态，必定Pjj累加和收敛，因此Pij累加和必定也收敛，如果Pij累加和收敛，必定有

$$\begin{gathered} \sum _{n=0}^{\infty }{P}_{jj}(n)<\infty \\ \Rightarrow \sum _{n=0}^{\infty }{P}_{ij}(n)<\infty \\ \Rightarrow li{m}_{n\to 0}{P}_{ij}(n)=0 \end{gathered}$$

  于是就证明了第二个结论。

  这个结论证明了，如果你自己都不热爱自己的家，都不愿意回去，其他人更不会热爱你的家，更不愿意回去。

1.3.3 有限状态与常返性

  我们有这样的结论，如果一个马尔科夫链只有有限的状态，则这其中一定存在常返态。

$$\text{Finite States}\Rightarrow \exists \text{Recurrent State}$$

  我们考虑n步转移概率矩阵,转移概率矩阵行的和是1

$$\begin{gathered} P(n)=(P_{ij}(n){)}_{ij} \\ {P}_{ij}(n)\ge 0 \\ \sum _j{P}_{ij}(n)=1\forall i \end{gathered}$$

  由于只有有限状态，因此转移概率矩阵一定是可以表示出来的。转移概率矩阵行的和是1，根据1.3.2的性质，如果n趋向于无穷大，则必定所有的概率都0，不可能加起来和是1，所以里面一定有常返态

$$\begin{gathered} 1=li{m}_{n\to \infty }\sum _j{P}_{ij}(n)=\sum _{j}li{m}_{n\to \infty }{P}_{ij}(n)=\sum _{j}0=0 \\ \text{Contradiction} \end{gathered}$$

  这里求和和极限可以交换次序是因为只有有限的项，不需要条件。然后就从这里推导出了矛盾。所以能够证明，有限状态的马尔科夫链中一定有常返态。

1.3.4 不可约与常返性

  然后我们再下一个结论，如果一个马尔科夫链只有有限状态，并且马尔科夫链是不可约的，能够得到所有状态都是常返态。

$$\text{Finite States}+\text{Irreducible}\Rightarrow \text{All states are Recurrent}$$

  因为，如果马尔科夫链具有有限状态，里面必然有常返态。而不可约意味着所有的状态都相通，因此能够证明所有的状态都是常返态。

  这样我们就能够把状态的性质转换为马尔科夫链的性质

$$\text{State Property}\Rightarrow \text{Chain Property}$$

1.3.5 非常反态的一个判据

  这里我们再给出一个常返态的性质，并且基于这个性质的证明可以给出一个非常返态的判据。

  结论：如果i可达j，并且i是常返的，则j也是常返的。

  这个结论说明，如果i是常返的，并且i能够到达j，说明两个状态就是相通的。常返态只去常返态。

$$i\to j\Rightarrow j\to i$$

  这里我们定义一个函数

g i i ( m ) = P ( # { k : Z k = i } ≥ m ∣ Z 0 = i ) g_{ii}(m) = P(\# \{k:Z_k=i \} \geq m |Z_0 = i) \\ gii​(m)=P(#{k:Zk​=i}≥m∣Z0​=i)

  这个函数表示，从i出发，至少m次回到i的概率。右边式子表示，起始位置是i，然后是一个集合，对回到i的时刻进行记录形成的一个集合，这个集合元素数量至少是m。

  我们想找到这个集合的递推关系

$$g_{ii}(m)\to g_{ii}(m-1)$$

  可以用一步分析法。我们假设时间为k的时候第一次回到了i，那么对于gii来说，利用马尔科夫性，就是gii集合中要求至少m-1次回到i就行

$$\begin{gathered} g_{ii}(m)=\sum _{k=1}^{\infty }{f}_{ii}(k)g_{ii}(m-1) \\ =g_{ii}(m-1)\sum _{k=1}^{\infty }{f}_{ii}(k) \end{gathered}$$

$$\begin{gathered} \text{Let }{f}_{ii}=\sum _{k=1}^{\infty }{f}_{ii}(k) \\ {g}_{ii}(m)=g_{ii}(m-1)f_{ii}\Rightarrow g_{ii}(m)=(f_{ii}{)}^m \\ \Rightarrow g_{ii}=li{m}_{m\to \infty }{g}_{ii}(m) \end{gathered}$$

  这里可以用常返态的定义，如果i是常返的f_ii必定是1，否则就是个小于1的数字，m次乘方之后得到0

$$\Rightarrow g_{ii}=li{m}_{m\to \infty }{g}_{ii}(m)=\{\begin{array}{ll}1& \text{i Recurrent}\\ 0& \text{i Non-Recurrent}\end{array}(c)$$

  这里我们得到了对常返态的第三种形态[(a)(b)©]的认识。就是如果i是常返态，从i出发，无穷次回到i的概率是1，否则就是0。这个概率形式叫做零一率，因为概率只有0和1，没有中间状态。

  不过这种结论是个必要条件，i是常返态能够得到从i出发无穷次回到i的概率是1，但是不能证明这个概率是1，i一定是常返的。这种只具有必要性的结论是用来判反的，也就是用来判断i不是常返态的一种判据。

  然后我们基于这个非常返态的判据继续证明我们的结论。

  我们用转移概率的空间分解分解gii

$$g_{ii}=\sum _k{P}_{ik}(m)g_{ki}$$

  也就是从i出发m步到达k，然后从k出发无穷多步到达i。由于所有从i出发的矩阵概率和加起来是1，因此可以做如下变换

$$\begin{gathered} 1=g_{ii}=\sum _k{P}_{ik}(m)g_{ki} \\ \Rightarrow \sum _k{P}_{ik}(m)g_{ki}-1=0 \\ \sum _k{P}_{ik}(m)(g_{ki}-1)=0 \end{gathered}$$

  由于转移概率一定是大于0的，而这个和又是0，必定有

$$g_{ki}-1=0\Rightarrow g_{ki}=1$$

  也就是，如果i是常返的，如果i能够去k，则从k出发无穷多次到达i的概率是1，因此k也能去i。也就是二者相通了。

 gii(m)这个是结论是用来判断非常返的，是常返的必要条件，如果常返一定有这个性质，有这个性质不一定能够得到常返

2. 随机游动的常返性

  下面举一个经典的例子，就是随机游动的常返性

$$\text{Random Walk}$$

  我们知道，随机游动可以到任何一个状态去，根据1.3.1，如果两个状态相通，其中一个是常返的，另外一个也是常返的。

  因此，事实上，我们只要证明一个点的常返性即可。

2.1 一维随机游动

  我们先来看一维随机游动的常返性，我们就考虑零点即可。

  由于随机游动不是有限状态，不能通过有限状态马尔科夫链必定具有常返态的推论。我们只能从判据出发，判断转移概率的收敛性

  因此我们需要计算n步转移概率

$$\sum _{n=0}^{\infty }{P}_{ii}(n)$$

  对于随机游动来说，n只能是偶数，因为奇数次游动必然不能保证回到原点，只有向左走和向右走的次数一样才能回来。因此n步转移概率可以表示为:奇数概率是0，偶数是2k步里面任意k步向左，任意k步向右即可。

$$P_{00}(n)=\{\begin{array}{ll}0& n=2k-1\\ & \\ \left(\begin{array}{c}2k\\ k\end{array}\right)P^k(1-P{)}^k& n=2k\end{array}$$

  我们分析这个通项公式是否是收敛的

$$\begin{gathered} \sum _{n=0}^{\infty }{P}_{ii}(n)=\sum _{k=0}^{\infty }\left(\begin{array}{c}2k\\ k\end{array}\right)P^k(1-P{)}^k \\ =\sum _{n=0}^{\infty }\frac{2k!}{k!k!}{P}^k(1-P{)}^k \end{gathered}$$
  阶乘具有阶次近似的估计公式

$$\begin{gathered} \text{Stirling} \\ n!\sim (\frac{n}{e}{)}^n\sqrt{2\pi n} \end{gathered}$$

  我们可以对阶乘进行简单的估计

$$\begin{gathered} n!=exp(lnn!)=exp(\sum _{k=1}^{\infty }lnk) \\ \approx exp({\int }_1^{n}lnxdx)=exp(n(lnn-1)) \\ =(exp(ln\frac{n}{e}){)}^n=(\frac{n}{e}{)}^n \end{gathered}$$

  后面一项没有估计出来是积分的地方做的太粗糙了。

  我们用stirling式子得到的阶次近似估计代入计算

$$\begin{gathered} \sum _{n=0}^{\infty }{P}_{ii}(n)=\sum _{n=0}^{\infty }\frac{2k!}{k!k!}{P}^k(1-P{)}^k \\ \frac{2k!}{k!k!}{P}^k(1-P{)}^k\sim \frac{(\frac{2k}{e}{)}^{2k}\sqrt{4\pi k}}{(\frac{k}{e}{)}^k\sqrt{2\pi k}(\frac{k}{e}{)}^k\sqrt{2\pi k}}{P}^k(1-P{)}^k\sim \frac{(4P(1-P){)}^k}{\sqrt{\pi k}} \end{gathered}$$

  我们需要判断这个式子的收敛性

  我们先回忆一下级数的收敛性

$$\frac{1}{k^{\alpha }}(i)$$

  (i)根据级数的收敛性，α小于等于1的时候是不收敛的，调和级数是不收敛的极限，只有α大于1的时候才会收敛。
$$\frac{1}{klnk}(ii)$$

$$\sum _{k=2}^{\infty }\frac{1}{klnk}\Rightarrow {\int }_{k=2}^{\infty }\frac{1}{klnk}dk={\int }_{k=2}^{\infty }\frac{1}{lnk}dlnk=lnlnk{|}_2^{\infty }=\infty$$

  (ii)可以转化为积分进行判断，肯定是发散的

  加一个平方就是收敛的

$$\frac{1}{kl{n}^{2}k}(iii)$$

$$\begin{gathered} \sum _{k=2}^{\infty }\frac{1}{kl{n}^{2}k}\Rightarrow {\int }_2^{\infty }\frac{1}{kl{n}^{2}k}dk \\ ={\int }_2^{\infty }\frac{1}{l{n}^{2}k}dlnk=-\frac{1}{lnk}{|}_2^{\infty }<\infty \end{gathered}$$

  由于正项级数非负，并且单调递减，因此正项级数与积分具有相同的敛散性。由于积分收敛，因此级数也收敛。

  再回来分析随机游动的级数

$$\frac{(4P(1-P){)}^k}{\sqrt{\pi k}}$$

  由于

$$0\le 4P(1-P)\le 1$$

  当且仅当

$$P=1-P=\frac{1}{2}\Rightarrow 4P(1-P)=1$$

  由此，当4P(P-1)=1的时候，得到的是一个P级数，由于P是小于1的，级数不收敛。而4P(P-1)< 1的时候，由于指数收敛性强于线性收敛项，所以级数是收敛的。

$$\sum \frac{(4P(1-P){)}^k}{\sqrt{\pi k}}=\{\begin{array}{ll}=\infty & P=\frac{1}{2}\text{ Recurrent}\\ <\infty & P\cancel{=}\frac{1}{2}\text{ Non-Recurrent}\end{array}$$

  因此，对于一维随机游动问题，当随机游动向左和向右概率相同的时候，每个状态都是常返态。

2.2 二维随机游动

  再看二维的随机游动，我们就直接加上往各个方向概率相同。并且我们看零点的常返性

  我们假设运动了2n下，其中k下向左，k下向右，n-k向上，n-k向下

$$\begin{gathered} P_{00}(2n)=\sum _{k=0}^n\left(\begin{array}{c}2n\\ k\end{array}\right)\left(\begin{array}{c}2n-k\\ k\end{array}\right)\left(\begin{array}{c}2n-2k\\ n-k\end{array}\right)(\frac{1}{4}{)}^{2n} \\ =\sum _{k=0}^n\frac{2n!}{k!k!(n-k)!(n-k)!}(\frac{1}{4}{)}^{2n} \\ =(\frac{1}{4}{)}^{2n}\frac{(2n)!}{n!n!}\sum _{k=0}^n\frac{n!n!}{k!k!(n-k)!(n-k)!} \\ =(\frac{1}{4}{)}^{2n}\left(\begin{array}{c}2n\\ n\end{array}\right)\sum _{k=0}^n{\left(\begin{array}{c}n\\ k\end{array}\right)}^2 \\ =(\frac{1}{4}{)}^{2n}\left(\begin{array}{c}2n\\ n\end{array}\right)\left(\begin{array}{c}2n\\ n\end{array}\right) \\ =(\frac{1}{4}{)}^{2n}{\left(\begin{array}{c}2n\\ n\end{array}\right)}^2 \end{gathered}$$

  这里说明一下

$$\begin{gathered} \sum _{k=0}^n{\left(\begin{array}{c}n\\ k\end{array}\right)}^2 \\ =\sum _{k=0}^n\left(\begin{array}{c}n\\ k\end{array}\right)\left(\begin{array}{c}n\\ n-k\end{array}\right) \end{gathered}$$

  这里可以说明一下，组合数本来可以看做是(1+x)ⁿ中x^k的系数，组合数的平方可以变成互补形式的一个乘积。也就是下面两个式子

$$\begin{gathered} (1+x{)}^n\to C_n^k{x}^k[1] \\ (1+x{)}^n\to C_n^{n-k}{x}^{n-k}[2] \end{gathered}$$

  而(1+x)²ⁿ中xⁿ的系数就是C_2nⁿ

$$(1+x{)}^{2n}\to C_{2n}^n{x}^n[3]$$

$$(1+x{)}^{2n}=(1+x{)}^n(1+x{)}^n$$

  我们可以发现，把[1][2]式子乘起来能够把x^n-k和x^k补成xⁿ,而把所有这样的k加起来，得到的就是全部xⁿ的系数，也就是C_2nⁿ

  因此，我们得到了

$$\sum _{k=0}^n{\left(\begin{array}{c}n\\ k\end{array}\right)}^2=\left(\begin{array}{c}2n\\ n\end{array}\right)$$

  然后我们继续回去分析零点处的常返性

$$P_{00}(2n)=(\frac{1}{4}{)}^{2n}{\left(\begin{array}{c}2n\\ n\end{array}\right)}^2\sim (\frac{1}{4}{)}^{2n}(\frac{4^n}{\sqrt{n}}{)}^2\sim \frac{1}{n}$$

  刚好是个调和级数，不收敛。所以，仍然是每个状态都是常返态

$$\sum P_{00}(2n)=\infty \text{Recurrent}$$

2.3 多维随机游动

$$\begin{gathered} \text{Dimension 1 }{n}^{-\frac{1}{2}} \\ \Rightarrow \text{Dimension 2 }{n}^{-\frac{2}{2}} \\ \Rightarrow \text{Dimension 3 }{n}^{-\frac{3}{2}} \end{gathered}$$

  我们可以总结一下之前计算得到的级数的阶次，与P级数有比较关系。由此可见，如果是三维以上的随机游动，P级数就收敛了。因此就不是常返的了。这是因为，维度一旦变大了，自由度就变大了，跑出去就回不来了。