物联11.14作业

马尔科夫链概念：

马尔科夫链是概率论和数理统计中具有马尔科夫性质且存在于离散的指数集和状态空间内的随机过程。适用于连续指数集的马尔科夫链被称为马尔科夫，但有时也被视为马尔科夫链的子集，即连续时间马尔科夫链，与离散时间马尔科夫链相对应，因此马尔科夫链是一个较为宽泛的概念

马尔科夫链性质：

马尔科夫链可通过转移矩阵和转移图定义，除马尔科夫性外，马尔科夫链可能具有不可约性、常返性、周期性和遍历性。一个不可约和正常返的马尔科夫链是严格平稳的马尔科夫链，拥有唯一的平稳分布。遍历马尔科夫链的极限分布收敛于其平稳分布 。