【随机过程】Markov Chain的定义及发展历程与实际应用

随机过程

第四章  Markov链的基本概念

---

目录

前言

1.Markov Chain的定义

2.Markov Chain的发展历程

3.Markov Chain的实际应用

文献引用

---

前言

本模块书写的初衷：由于在学习张波张景肖等学者所著的《应用随机过程》存在着不甚了解的知识点，经过个人查找资料并整理、分享，希望能够为有同样疑惑的读者贡献绵薄之力，同时如果个人编写内容有错误，恳请读者指正。

本文为对《应用随机过程》第42页中Markov Chain基本概念的补充。

---

1.Markov Chain的定义

俄国数学家 Andrey Andreyevich Markov 研究并提出一个用数学方法就能解释自然变化的一般规律模型，被命名为马尔科夫链（Markov Chain）。马尔科夫链为状态空间中经过从一个状态到另一个状态的转换的随机过程，该过程要求具备“无记忆性 ”，即下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性 ”称作马尔可夫性质。

马尔科夫链认为当现在的状态已知时，过去和未来是独立的。比如这样一串数列 1 - 2 - 3 - 4 - 5 - 6，在马尔科夫链看来，6 的状态只与 5 有关，与前面的其它过程无关。

2.Markov Chain的发展历程

马尔可夫链的发展历程可以大致概括如下：

年份	事件	相关论文/Reference
1906	Andrey引入了马尔可夫链的概念	Markov, A. A. (1906). Rasprostranenie zakona bol’shih chisel na velichiny, zavisyaschie drug ot druga. Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 15(135-156), 18.（查无此文献，相关）
1953	梅特罗波利斯将蒙特卡洛方法引入马尔可夫链	Metropolis, Nicholas; Rosenbluth, Arianna W.; Rosenbluth, Marshall N.; Teller, Augusta H.; Teller, Edward (1953). https://bayes.wustl.edu/Manual/EquationOfState.pdf
1957	马尔可夫决策过程被提出	Bellman, R. (1957) A Markovian decision process. Journal of Mathematics and Mechanics, 679-684.
1966	Leonard等学者在一系列研究中提出了隐马尔可夫模型	Baum, L. E.; Petrie, T. (1966).Statistical Inference for Probabilistic Functions of Finite State Markov ChainsThe Annals of Mathematical Statistics. 37 (6): 1554–1563.
1975	Baker 将 HMM 用于语音识别	Baker, J.(1975).The DRAGON system—An overview. IEEE Transactions on Acoustics, Speech, and Signal Processing. 23: 24–29.
1980	Snell等描述了马尔可夫随机场的理论和应用	Kindermann, R., & Snell, J. L. (1980). Markov random fields and their applications (Vol. 1). American Mathematical Society.
1984	Stuart和Donald兄弟描述了Gibbs抽样算法	Geman, S.; Geman, D.(1984). Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images.IEEE Transactions on Pattern Analysis and Machine Intelligence. 6 (6): 721–741.
1988	Pearl提出马尔可夫毯的概念	Pearl, J. (2014). Probabilistic reasoning in intelligent systems: networks of plausible inference.Morgan Kaufmann.
1989	Hamilton应用了制转换模型	Hamilton, J. (1989). A new approach to the economic analysis of nonstationary time series and the business cycle.Econometrica. 57 (2): 357–84.
20世纪80年代	HMM开始用于分析生物序列(DNA）	Bishop, M. and Thompson, E. (1986). Maximum Likelihood Alignment of DNA Sequences.Journal of Molecular Biology.190 (2): 159–165.
1991	Lovejoy研究了部分可观测马尔可夫决策过程	Lovejoy, W. S. (1991).A survey of algorithmic methods for partially observed Markov decision processes.Annals of Operations Research. 28(1):47–65.
1995	Bertsekas等讨论了用于不确定条件下的的动态规划方法	Bertsekas D. P. and Tsitsiklis, J. N. (1995). Neuro-dynamic programming: an overview.IEEE Conference on Decision and Control. 1: 560-564.
1998	S.Brin和L.Page提出PageRank算法	Page, L. (1998). The pagerank citation ranking : bringing order to the webStanford Digital Libraries Working Paper, 9(1), 1-14.
2017	Lamb等研究者提出了 GibbsNet	Lamb, A. et al. (2017).GibbsNet: Iterative Adversarial Inference for Deep Graphical Models.arXiv:1712.04120.
2017	Ermon等研究了马尔可夫链的生成对抗学习	Song, J.; Zhao, S.; Ermon, S. (2017).GENERATIVE ADVERSARIAL LEARNING OF MARKOV CHAINS. ICLR

总的来说，马尔可夫链的发展历程可以看作是从安德烈·马尔可夫的最初提出，到其在20世纪中叶的广泛应用，再到后来的马尔可夫链蒙特卡罗方法的发展，以及21世纪对其理论的进一步研究和应用拓展。

3.Markov Chain的实际应用

马尔可夫链在各个领域都有广泛的应用，以下是一些具体的应用示例：

1. 自然语言处理：马尔可夫链被用于文本生成、语言模型和自动文本摘要。通过训练基于马尔可夫链的语言模型，可以生成类似于原始文本的新文本，用于自动生成文章、诗歌等。

2. 计算机网络：在计算机网络中，马尔可夫链被用于建模网络流量、路由协议和网络故障。通过分析网络状态的转移，可以优化网络资源分配和故障恢复策略。

3. 医学诊断：马尔可夫链被用于医学诊断和健康预测。通过分析病人的症状和疾病历史，可以建立马尔可夫链模型预测病情的发展趋势和治疗效果。

4. 市场营销：马尔可夫链被用于分析顾客购买行为和市场营销策略。通过建立顾客购买历史的马尔可夫链模型，可以预测顾客的下一步购买行为，并制定个性化的营销策略。

这些只是马尔可夫链在各个领域中的一部分应用示例，其实它在实际中的应用非常广泛，几乎涵盖了所有需要建模和分析随机过程的领域。

• 下面举一个在金融领域中应用的例子，已知在这个股市模型的马尔可夫链中，共存在三种状态：牛市（Bull market）、熊市（Bear market）和横盘（Stagnant market）。每个状态都以特定的概率转移到下一个状态。例如，“Bull markets”以0.075的概率转移到“Bear markets”。

由图可知，转移矩阵M为

接着，我们创建一个 1x3 向量 C，其中包含当前任何一周处于三种不同状态的信息；其中第 1 列代表“Bull markets”，第 2 列代表“Bear markets”，第 3 列代表“Stagnant markets”。

在本例中，我们将选择把当前周设为“Bear markets”，从而得到向量 C = [0 1 0] 。根据当前周的状态，我们可以计算出未来任意 n 周内出现“Bull markets”、“Bear markets”或“Stagnant markets”的可能性，将向量 C 与矩阵相乘，得到如下结果：

由此我们可以得出结论：

（1）当 n → ∞ 时，概率将趋于稳定状态，即所有周中有 63% 看涨，31% 看跌，5% 停滞。

（2）该马尔可夫链的稳态概率与初始状态无关，也就是说马尔科夫链模型的状态收敛到的稳定概率分布与我们的初始状态概率分布无关。

（3）计算结果可以有多种用途，例如计算看跌期结束所需的平均时间，或者计算看涨市场转为看跌或停滞的风险。

---

文献引用

[1]张波、张景肖、肖宇谷. 应用随机过程（第二版）[M]. 北京：清华大学出版社，2019.11:42-43.

[2]Myers D S, Wallin L, Wikström P. An introduction to Markov chains and their applications within finance[J]. MVE220 Financial Risk: Reading Project, 2017, 26.