马尔可夫性质、马尔可夫链和马尔可夫过程

关注：灰质，有趣有料的AI技术分享

前言

研究决策问题就一定听说过马尔可夫过程（Markov Process），这是一类非常重要的方法。现在非常热门的强化学习都是基于马尔可夫过程方法建立的。马尔可夫决策过程是研究随机序贯决策问题的理论基础，属于概率论和运筹学的交叉学科，同时，作为作为最优控制理论，也属于随机系统最优控制的范畴，具有广阔的应用范围和前景。

那么这个方法到底怎么回事呢？最近又有什么研究进展呢？让我们来聊一聊。

马尔可夫其人

先来说说这个方法的提出者，马尔可夫，数学家，全名是安德雷·安德耶维齐·马尔可夫，看名字就猜出来了，这是一位俄国人。马尔可夫所处的时代是俄国数学蓬勃发展的时期，他的老师契比雪夫，是俄国数学从落后到繁荣的重要奠基人，圣彼得堡学派的奠基人和领袖。

圣彼得堡学派源于俄国的一代强人彼得大帝，这哥们当时在欧洲各国溜达了一圈，发现自己的国家实在是落后，方方面面的不如别人，于是在俄国的西边边境上，把靠近西欧国家的圣彼得堡设立为新的首都，作为与西欧强国交流的重要窗口。为了尽快提高俄国的科技水平，彼得大帝找猎头疯狂挖人，把咱们在大学数学中经常听说的伯努利兄弟、欧拉、哥德巴赫等大神们，都请到了圣彼得堡的科学院，迅速拉高了俄国的数学Level。比如欧拉大神，在当时基本上就是数学界的标杆人物，他研究啥大家就跟着关注啥，属于顶级流量了也是。欧拉在图论、微积分等领域都做了非常多开创性工作，这里就不多展开了，感兴趣的可以去了解了解。

就是在这种背景下，俄国的数学逐渐发展，直到契比雪夫，才通过在概率论、解析数论和函数逼近论等领域的开创性工作逐渐让俄国数学界的能力受到西欧同行们的认可。他的徒弟马尔可夫就是属于继承师傅的概率论和数论的衣钵，继续开拓了很多新的成果。马尔可夫链及马尔可夫过程都是非常有代表性的成果之一。目前，马尔可夫过程相关的理论与方法已经被广泛应用于自然科学、工程技术和公用事业中。当然马尔可夫过程后续的很多发展又有诸多大佬作出了完善和改进，并不是马尔可夫一个人的功劳。

马尔可夫本人呢，在当时属于不愿意受世俗约束的性格，大学之前在老师们眼里都属于桀骜不驯的那种，因为那个时代的俄国还是受教会影响较深，马尔可夫就读的学校就是按照传统东正教方式管理的，东正教属于基督教下面的一个分支，是伴随罗马帝国分裂为东西罗马帝国，在东罗马帝国中发展起来的东派正教，而在俄国的发展尤为兴盛，主要是由于著名的莫斯科大公伊凡三世通过迎娶东罗马帝国的末代公主，借此名义来继承罗马帝国遗志，号称第三罗马帝国。由此，东正教成为俄国的国教，教会对于读物和礼仪的要求比较严格，马尔可夫则是比