【随机过程-学习笔记】（1）--马尔科夫链的定义与转移概率与绝对概率

【随机过程-学习笔记】（1）–马尔科夫链的定义与转移概率与绝对概率

一、马尔科夫链

1. 马尔科夫链的出现
   具有马氏性，是指今天与昨天有关，但与前天无关（广义理解）。 $p(x_t|x_{t-1},x_{t-2},...x_{t-n})=p(x_t|x_{t-1})$, $x_t$为今天，$x_{t-1}$为昨天，因此，$x_t$只与昨天有关。
   $t_0$时刻所在的样本空间($\Omega$)，在马尔科夫中被称为状态空间，并且$t_0$中的各样本点$X_{t_0}$是随机变量，可以随机选取、也可以连续选取；
   
   然后，$t_0$与$t_1$之间，是时间空间，具体的时间间隔，可以随机选取、也可以连续选取；
   因此，具体的选取过程如下：
   ① 状态空间=>离散，时间空间=>离散，称为马氏科夫链；↓
   
   ② 状态空间=>离散，时间空间=>连续，称为马尔科夫过程；↓
   
   ③ 状态空间=>连续，时间空间=>离散，称为马尔科夫列；
   ④ 状态空间=>连续，时间空间=>连续，称为扩散过程。
2. 马氏科夫链
   ① 马氏科夫链的解释
   任意取第$n+1$步，如图：
   
   那么两步之间的联系可以被表示为：
   
   其中，时刻为$t_n$和$t_{n+1}$时，都取离散的随机变量，因此{$X_n,n\in N$}的过程被称为马尔科夫链，写法上，表示为
   
   ② 转移与转移概率
   
   而，转移概率，则被表示为：
   
   若知道，如果发生$p(x_{n+1})$的前提是已经发生$p(x_n)$，因此从状态$i$转移到状态$j$，就需要有$p(x_n)$为基础，同时还要考虑转移概率$p(x_{ij}(n))$，才能够得到$p(x_{n+1})$。进一步的，可以得出：
   
   那么，状态转移概率$p(x_{ij}(n))$便理解为：$n$时刻由状态$i$转移到状态$j$。
   ③ 相对概率与绝对概率
   需要注意，转移概率不是状态$i$的概率，也不是状态$j$的概率，反应出的是过程，是指走一步的动态。
   而面对与时间无关(时齐)的情况下，即静止状态时，发生的概率，是指n时刻下取各个值的概率。因为静止时，各值是离散的，随机变量$X_n$的取值则包含若干的，例如包含1,2,3，共3个状态，那么这些状态的概率被表称为绝对概率，也是静止概率，表示为${\pi }_i(n)$：$n$时刻$p(X_n=i)$。
   
   即${\pi }_n(1)$、${\pi }_n(2)$、${\pi }_n(3)$。指$n$时刻包含的全部状态。
   
   那么在静态下，由状态n到状态n+1，能够得出n+1状态下的转移概率矩阵。
   

有时间参与时，需要加入$n$，即绝对概率$P(n)$。时齐时，没有$n$的参与，为相对概率$P$。