Lecture 16: Markov Chains I

前言：这节课讲马尔可夫链，由一个收银的例子引出马尔科夫链的定义，介绍了马尔可夫假设；如何计算状态之间的转换概率；对于一些链，经过很长时间无论初始状态如何落在不同状态概率会趋于稳定，transient 和recurrent 状态的区别。

新的状态由旧的状态和噪声决定。

state: anything that’s happening right now that’s relevant to what may happen in the future. 状态就是现在正在发生的，能决定并影响未来的
量。比如球的位置不足以预测下一时刻的位置，还需要速度，这样的话状态就是位置和速度。
在这里状态是顾客的数量。
当最多顾客容纳量为10 的时候状态和状态之间转换的概率由上图显示。

每次到达3的时候，下次到达1的概率是$p_{31}$， 无论到达3的过程是怎样的。
流程是，首先确定状态，这些状态用于预测下一时刻，然后状态与状态之间，某些是可能发生转换的，找出这些可能发生的转换，最后对每一个可能发生的转换，求得转换的概率。

这里讲如果两个状态不相邻，如何算从一个状态到另一个状态的转换概率$r_{ij}$，之所以能用如上的公式得到，是因为从任意状态k到状态j的概率$p_{kj}$只与k状态本身有关，这是因为马尔可夫假设。

当起始状态不定的时候我们可以选择添加一个dummyhead状态，起始点重新设为dummyhead，且概率为1， $$\begin{gathered} P(X_n=j)=P(X_{-1} \\ =dummy)\ast r_{-1j} \\ =1\ast \sum _{k=1}^m{p}_{-1i}\ast r_{ij} \\ =1\ast \sum _{k=1}^{m}P(X_0=i)\ast r_{ij} \end{gathered}$$

这个例子里，波浪线以上的initial state是 1. 波浪线以下的initial state 是2. 其实是两个分开的实验，可以看到分开之后每列的加和是1. 当时间进行到n= 100 的时候，$r_{21}和r_{11}$很接近都是$\frac{2}{7}$这表明，即使初始条件不一样（1和2），随机过程的作用会逐渐抹杀掉初始条件带来的影响。

注意到，$X_n$这个随机变量仍然是随机的，可能是1 也可能是2，但是经过n时间后$X_n$落在每个状态的概率稳定了下来。

一般来说，经过一段时间，不论初始状态如何n时刻的状态的概率$p_{X_n}$都是一样的。但是上图中列举了一些例外的情况

recurrent state表示永远有可能回来的状态（ 复发的，复现的）。
transient state 表示有可能永远回不来的状态（短暂的; 转瞬即逝的）。
墨菲定律，一件坏事如果有可能发生就一定会发生。 同样的，对于transient state，有可能逃离后回不来，经过很长时间，在n时刻就一定不会回来$P(X_n=i)=0$

recurrent： 复发的，复现的; 周期性的，经常发生的; 回归的; 循环的;
transient：短暂的; 转瞬即逝的; 临时的;