2. 离散Markov过程
考虑一个系统,这个系统在任意时间处于N个离散状态
S1,S2,⋯,SN
中的某个状态,如图1所示(
N=5
)。系统在每个时间点根据当前状态相关的概率值跳转到下一个状态。我们把状态跳转时间表示为
t=1,2,⋯
,并且把
t
时刻的的状态值表示为
并且,我们只考虑(1)的右边和时间无关的系统,这样得到一组状态转移概率
aij
:
其中状态转移概率需要满足概率的一般性质,即:
上述随机过程可以称为可观测Markov模型,因为过程的输出是一组状态值,每个状态值和一个物理(可观测的)事件相关。下面介绍一个只有3个状态的天气Markov模型。我们假设每天观测到的天气是以下几种情况之一:
状态1:雨雪
状态2:多云
状态3:晴天
我们假设第
t
天的天气由上面三个状态中的一个来表征,并且状态转移概率矩阵
假设第一天(
t=1
)的天气是晴天(状态3),那么接下来7天的天气是“晴天-晴天-雨雪-雨雪-晴天-多云-晴天”的概率是多少?更正式的描述,我们定义
t=1,2,⋯,8
的观测序列
O
为
其中
表示初始状态概率。
另一个有意思的问题是:假设模型在一个已知状态,那么它保持这个状态正好
d
天的概率是多少?这个概率可以用以下状态序列的概率表示:
模型为
pi(d)
是状态
i
的持续时间的概率密度函数。指数持续时间密度是Markov链中的状态持续时间的特点。根据
所以根据模型得到的连续晴天天数的期望值为 1/(0.2)=5 ,多云是2.5,雨雪是1.67。