【机器学习概率统计】13 状态转移：初识马尔科夫链

1.回顾两类重要的随机过程

在上一小节随机过程的概述中，我们提到过两类非常非常典型且重要的随机过程，一类是：伯努利过程和泊松过程，这一类随机过程是无记忆性的，也就是说未来的状态不依赖于过去的状态：新的“成功”或“到达”不依赖于该过程过去的历史情况。

而另一类则正好相反，未来的情况会依赖于过去的情况，并且能够在某种程度上通过过去发生的情况去预测未来，例如这一节我们的核心内容：马尔科夫过程，他在许许多多的领域都有深入和广泛的应用。

2.离散时间的马尔科夫链

2.1.马尔科夫链三要素

这是一类随着时间而发生状态变换的过程，因此分为离散时间的马尔科夫链和连续时间的马尔科夫链两类。我们首先考虑离散时间的马尔科夫链，他的状态在确定的离散时间点上发生变化。

离散时间的马尔科夫链有三个核心概念点：离散时间、状态空间、转移概率。

在离散时间的马尔科夫链中，我们通常使用$n$来表示时刻，用