马尔可夫链简介

随机过程

随机过程研究的是随时间演变的随机现象。被认为是概率论的动力学部分。

它的研究对象是随时间演变的随机现象。对于这种现象，一般来说，人们已不能用随机变量或多维随机变量来合理地表达，而需要用一族（元限多个〉随机变量来描述。

---

具体例子：

热噪声电压电子元件或器件由于内部微观粒子（如电子）的随机热骚动所引起的端电压称为热噪声电压。

由于热骚动的随机性，在相同条件下每次测量都将产生不同的电压一时间函数。这样，不断地独立重复地一次次测量就可以得到一族不同的电压一时间函数，这族函数从另－角度刻画了热噪声电压。

---

设$T$是一元限实数集。我们把依赖于参数$x\in T$的一族（无限多个〉随机变
量称为随机过程, 记为$X(t),t\in T$。

对于每一个$t\in T$, $X(t)$是一随机变量, $T$叫做参数集。

对于一切$t\in T$, $X(t)$所有可能取的一切值得全体称为随机过程的状态空间。

马尔可夫过程

从随机过程在不同时刻状态之间的特殊的统计联系，引入马尔可夫过程的概念。

马尔可夫过程是一类随机过程，是研究离散事件动态系统状态空间的重要方法。它的基础是随机过程理论。

马尔可夫性：

马尔可夫链

马尔可夫链是时间离散和状态离散的马尔可夫过程。

马尔可夫链（英语：Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain，缩写为DTMC），因俄国数学家安德烈·马尔可夫得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。

该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。

马尔科夫链作为实际过程的统计模型具有许多应用。

在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。