马尔科夫链(Markov chain)5分钟简单入门

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/renhaofan/article/details/82186858

数学表达

详细的数学表达还是建议看这里
马克科夫链是一个随机系统,必须满足两个条件

  • 系统任意时刻可以用有限个可能状态之一来描述
  • 系统无后效性,即某阶段的状态一旦确定,则此后过程的演变不再受此前各种状态及决策的影响
    无后效性(附录有详细描述)

条件一 …… 概率向量(状态向量)

X(n)=(x1(n)x2(n)xk(n))T

  • 概率向量的每个元素都是概率,并且元素之和为1。
  • k是系统的可能状态数。
  • xi(n)表示第n次观测时第i个状态的概率

这个概率向量X(n)也被称为Markov的状态向量
X0被称为马尔科夫链的初始状态

条件二 …… 转移概率矩阵

P=(p11p12p1kp21p22p2kpk1pk2pkk)

  • pij(i,j=1,2,,k)表示这次观测时状态为j,现在观测是状态为i的概率
  • P矩阵元素非负
  • 每一列的元素之和都为1

根据无后效性我们可以的到,X(n+1)=PX(n), 进一步有
X(n)=PnX(0)

例子

有一个大的汽车租赁公司,有三家门店,你租的时候可以选择任何一个门店,还的时候也可以选择任何一家门店, 从不同门店借出和归还的概率如下表:

归还\借出 1 2 3
1 0.5 0.3 0.3
2 0.2 0.1 0.6
3 0.3 0.6 0.1

问题: 一辆车出2号门店借出,公司前三次应该从哪家店找最快捷

那么初始状态X(0)=(0,1,0)T,转移矩阵

P=(0.50.30.30.20.10.60.30.60.1)

那么为:
PX(0)=X(1)=(0.3,0.1,0.6)T
X(2)=(0.35,0.43,0.21)T
X(3)=(0.324,0.239,0.384)T

所以第一次先从3号门店找,
第二次先从2号门店找
第三次先从3号门店找


这里感觉有些怪怪的,因为按理说第一次找在3号,第二次找在2号,那么第三次就一定去1号找,应该是我没理解X的内涵本质

附录

1. 马尔科夫假设的概率理解

t时刻的状态和t-1时刻和t时刻的动作决定。t时刻的观测仅仅同t时刻的状态相关
这里写图片描述

P(zt|x0:t,zz:t,u1:t)=P(zt|xt)P(xt|x1:t1,z1:t,u1:t)=P(xt|xt1,ut)

2. 参考

  1. 线性代数 高等教育出报社
  2. 微信公众号:红猴子
  3. introduction to Markov chain by Waiyin Wong
  4. (一):细说贝叶斯滤波:Bayes filters
展开阅读全文

没有更多推荐了,返回首页