Markov chain 整理

首先来给出马尔科夫的相关定义：
马尔可夫变量若状态转移的概率只依赖于前一个状态，称这个变量为马尔可夫变量。
马尔可夫性质具有马尔科夫变量的这个性质称为马尔可夫性质，具有马尔可夫性质的随机过程称为马尔可夫过程。（自己简单定义一下）
马尔可夫链（Markov chain），为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。也就是马尔可夫性质。在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。
学习资料推荐
贴两篇写的比较好，但不是很完善的文章
隐马尔科夫模型(Hidden Markov Models)之理解篇和证明篇 - 我们的时光！ - CSDN博客 https://blog.csdn.net/zhangping1987/article/details/42460677
【ML算法】马尔科夫链 - liudongdong_jlu - CSDN博客 https://blog.csdn.net/liudongdong19/article/details/80141724

对于马尔科夫链的蒙特卡洛方法，徐亦达老师讲的比较好，附上b站视频链接
徐亦达机器学习：Markov Chain Monte Carlo 马尔科夫蒙特卡洛(MCMC)【2015年版-全集】_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili https://www.bilibili.com/video/av23980130?from=search&seid=5322732695791853515