学习马尔可夫chain的笔记

最近在做一个轨迹预测，看到大多数的论文采用马尔科夫的方法，因此专门详细了解下马尔科夫。

查了下百度，先看看马尔可夫是谁。

安德雷·安德耶维齐·马尔可夫Андрей Андреевич Марков（1856年6月14日－1922年7月20日），俄国数学家。出生于梁赞州，他的父亲是一位中级官员，后来举家迁往圣彼得堡。1874年马尔可夫入圣彼得堡大学，师从切比雪夫，毕业后留校任教，任圣彼得堡大学教授（1893-1905），研究数论和概论。后自愿承担罪名而被流放到扎拉斯克。1886年当选为圣彼得堡科学院院士。马尔可夫1922年逝世于圣彼得堡。他的同名儿子A·A·小马尔可夫也是一位著名数学家。

马尔可夫最重要的工作是在1906~1912年间，提出并研究了一种能用数学分析方法研究自然过程的一般图式——马尔可夫链。同时开创了对一种无后效性的随机过程——马尔可夫过程的研究。马尔可夫经多次观察试验发现，一个系统的状态转换过程中第n次转换获得的状态常决定于前一次（第(n-1)次）试验的结果。马尔可夫进行深入研究后指出：对于一个系统，由一个状态转至另一个状态的转换过程中，存在着转移概率，并且这种转移概率可以依据其紧接的前一种状态推算出来，与该系统的原始状态和此次转移前的马尔可夫过程无关。目前，马尔可夫链理论与方法已经被广泛应用于自然科学、工程技术和公用事业中。

马尔可夫链，是指数学中具有马尔可夫性质的离散事件随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的。预测未来的状态，涉及到先前的状态，不包括初始状态。

在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。

马尔可夫的简单理解：在一系列事件中，某一给定事件发生的概率只取决于以前刚刚发生的那一事件。也就是轨迹序列的有限个后n项（针对n阶马尔科夫链）。

相关概念：

先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率·

贝叶斯公式：

P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)