来聊聊马尔可夫过程

相信你对马尔科夫这个词一定不陌生,因为在人工智能机器学习领域,这个词是避不开的,如马尔可夫链(Markov chain),马尔科夫随机场(Markov random field),马尔可夫过程(Markov process),隐马尔可夫模型(Hidden Markov model),怎么这么多马尔科夫。。。这篇文章主要讲的是马尔科夫过程的一些基础的概念和理解。

马尔可夫性质是一种很有效的简化模型的工具,只要你说某过程具有马尔可夫性质,就说明该过程无后效性,什么意思呢?就是说下一刻的状态只和我这一刻的状态有关,和我之前的状态是没有关系的,这就是马尔可夫性。你会说这个太理想了,你说得对,但是就算这个模型很理想,它也足以能够解决很多实际的问题。数学当中也是,有些人总是纠结这个模型好像和现实中不符,太过于简单化,不完美,不精确。但是你要真的用一个很精确的模型去做,你做得出来个鬼,根本得不到结果好嘛,所以不要纠结这个马尔可夫性是不是不完美,它是没问题的。
用数学表达就是:
P{X(m+1)=j|X(1)=i1,X(2)=i2,......X(m)=im}=P{X(m+1)=j|X(m)=im}
好了,比如现在我们知道当前时刻的状态,那么如何才能知道下一个时刻的状态呢?这就引出了一个转移矩阵,注意,这个矩阵是很关键的,因为它是整个状态转移的一个描述,假设有状态空间有n个状态,那么转移矩阵就是一个nxn的方阵,每一行相加为1,代表从一行转移到各个列代表状态的概率。
如果转移矩阵不依赖与初始时刻,那么这个Markov链就叫做齐次马尔可夫链。
马尔可夫链的各个节点的状态可以进行分类:常返态与非常返态,常返态又可以分为:零常返和正常返。其中有一些判定状态的理论,如fjj=1是正常返,fjj<1是零常返。这里面字符很多,关系很杂,可以看看下图。

简而言之呢,常返态就是能形成常返闭集的一些状态,而非常返,就是在一定次数转移之后,再也不会回来的状态。常返态的状态虽然要回来,但是如果平均回转时间有穷,那么是正常返,如果是无穷,则是零常返。
马尔可夫链的极限分布和平稳分布:
马尔可夫链的极限分布,就是马尔可夫链经过无限长时间的转移,达到的最终状态,这个状态之和转移矩阵有关,与初始状态无关。计算极限分布也很简单,因为在无限步转移之后,马尔可夫链再转移一步,它的状态不会改变,所以可以用 a* P =a;其中,a就是极限分布。这里有个条件,就是说对于不可约遍历链,极限分布就是平稳分布,并且还是唯一的平稳分布。而对于不可约非周期的markov链呢,(1)每一状态是正常返,则极限分布是平稳分布且唯一。(2)状态是非常返或零常返的,平稳分布不存在。
对于马尔可夫链的平稳分布有什么用处呢,大家如果听过MCMC算法(马尔可夫链蒙特卡洛算法)就知道,这个算法是通过构造平稳分布符合分布要求(P)的马尔可夫链,然后再从马尔可夫链中进行采样,这个样本应服从于分布P,于是通过得到的样本,可以推断概率图模型,达到近似推断的目的。

文章讲得粗浅,刚考完随机过程,小小总结一下,打公式也麻烦,只能将就看了。
The End。


评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值