【随机过程】马尔可夫链(2)

【随机过程】马尔可夫链(2)

标签（空格分隔）： 【信号处理】

---

声明：引用请注明出处http://blog.csdn.net/lg1259156776/

---

说明：马尔科夫链是一个离散的马尔科夫过程，本文主要对马尔科夫链的几个比较绕的概念进行理解，然后对马尔科夫链的状态分类进行阐释。

---

几个概念

首先一个非常值得提醒的就是，我们在学习随机过程的基础理论的时候会经常讲，但是到了介绍某几个具体的随机过程的详细知识的时候总会忘记，那就是一个非常重要的前提：它是一个平稳随机过程。注意了，一定是平稳的，不平稳的基本上现在不涉及，不研究。

然后是提到了马尔科夫链的状态转移图和状态转移矩阵，这两者可以相互推出。这里要提的就是状态转移图是一个非常有用的分析方法，常常在数字电路设计中用到，虽然两者的表现形式可能不同，但是基本的思想还是一致的。有些问题就可以通过这种方法非常直观地展现出来，或者辅助思考。

可达，相通，不可约（处处相通）这三个概念，上一篇讲过；

首达时间和首达概率，这个概念还是有用的，下面会结合例子进行说明：
首达时间，马尔科夫链，从状态i开始，第一次到达状态j的步数或时间，而首达概率则是从状态i开始，经历n步，首次到达状态j的概率，记为