初识马尔科夫

完整版知乎链接：初识马尔科夫

建议zhihu观看，csdn不好写一下公式推导

马尔科夫模型(Markov Model)
马尔科夫模型由安德烈·马尔可夫(1856－1922）得名，是数学中具有马尔科夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于将来（即当期以后的未来状态）是无关的。 —维基百科
重点: 随机过程,过去,现在,将来.
马尔科夫模型是一个很大的概念，从模型的定义和性质来看，具有马尔科夫性质、并以随机过程为基础模型的随机过程/随机模型被统称为马尔科夫模型,其中就包含我们悉知的马尔科夫链、马尔科夫决策过程、隐马尔科夫链（HMM）等随机过程/随机模型。
完整版知乎链接：初识马尔科夫