初识马尔科夫链，原来是这样的

最新推荐文章于 2022-11-28 16:22:14 发布

一颗磐石

最新推荐文章于 2022-11-28 16:22:14 发布

阅读量1.1k

点赞数 2

分类专栏：机器学习文章标签：线性代数概率论矩阵马尔科夫链随机过程

本文链接：https://blog.csdn.net/Just_do_myself/article/details/122458276

版权

机器学习专栏收录该内容

12 篇文章 0 订阅

订阅专栏

相信学过随机过程的同学们，一定会知道马尔科夫链。这是一种利用统计方法和模型对大自然中的事物进行处理和预测的算法，例如对股票市场的走向进行判断，对话预测，诗词创作等等。既然马尔科夫链的用处这么广泛，那我们有理由好好认识它一下。

马尔科夫链的图例

其实马尔科夫链可以看作是是一种较为简单的概率图模型，每个节点以单向或双向的连接方式嵌入到同一图空间内。
我们来看一条比较简单的例子。
在这里插入图片描述
其中每个节点代表的是要分析的随机变量，节点与节点之间的箭头表示了随机变量之间的转换关系。
马尔可夫链的核心有三要素：状态空间、无记忆性、转移矩阵。
状态空间即每个节点的状态。从图中我们不难看出，马尔科夫链是状态空间中一个状态到另一个状态转换的随机过程。
无记忆性体现在未来的状态分布只取决于现在，与过去无关,如公式中所表达的那样：
P( $s_t|s_{t-1},s_{t-2},...,s_1$ )=P( $s_t|s_{t-1}$ )
在马尔可夫链的每一步，系统根据概率分布（即转移方程），可以从一个状态转换到另一种状态，也可以保持不变。转移方程中包含了不同状态之间的映射关系，这种映射关系通常表现为概率形式。
从图片直观了解马尔可夫链之后，如果想深究其原理以及应用它，还需要借助马尔可夫链的数学表达形式。

马尔可夫链的数学表达形式

状态向量

$X^{(n)}=(X^{(1)}_k, X^{(2)}_k,X^{(3)}_k,...,X^{(n)}_k)$

马尔科夫链的可能状态有k个，状态向量中每个元素为一种可能的状态，元素的值都为概率，即当前条件下下转换为该状态的可能性，因为状态向量囊括了所有可能性，所以各元素之和为1.

转移矩阵

$\begin{gathered} \quad p=\begin{pmatrix} p_{11} & p_{21} & ...& p_{k1}\\ p_{12} & p_{22} & ...& p_{k2}\\ ⋮ & ⋮ & & ⋮\\ p_{1k} & p_{2k} & ...& p_{kk}\\ \end{pmatrix} \quad \end{gathered}$
其中， $p_{ij}$ 为从状态i转换为状态j的概率，那么根据矩阵乘法和马尔可夫链的演变规律，我们可以得到：
$X^{(n+1)}$ = $P$ $X^{(n)}$
因此根据马尔科夫链的链式传导方式： $X^{(n+1)}$ = $P^n$ $X^{(0)}$
由于某一时刻状态转移的情况只依赖前一个状态，那么只要求出系统中任意两个状态之间的转移概率矩阵，这个马尔科夫链的模型就确定了。