马尔可夫链
一个系统有N个状态 S1,S2,···,Sn,随着时间推移,系统从某一状态转移到另一状态,设qt为时间t的状态,系统在时间t处于状态Sj 的概率取决于其在时间 1 ,2,···,t-1 的状态,该概率为:
如果系统在t时间的状态只与其在时间 t -1的状态相关,则该系统构成一个离散的一阶马尔可夫链(马尔可夫过程):
马尔可夫模型
如果只考虑独立于时间t的随机过程:
其中状态转移概率 aij 必须满足 aij>=0 , 且
,则该随机过程称为马尔可夫模型。
假定一段时间的气象可由一个三状态的马尔可夫模型M描述,S1:雨,S2:多云,S3:晴,状态转移概率矩阵为:
如果第一天为晴天,根据这一模型,在今后七天中天气为O=“晴晴雨雨晴云晴”的概率为:
隐马尔可夫模型
对于一个随机事件,有一观察值序列: O=O1,O2,…OT
该事件隐含着一个状态序列: Q = q1,q2,…qT。
假设1:马尔可夫性假设(状态构成一阶马尔可夫链)
P(qi|qi-1…q1) = P(qi|qi-1)
假设2:不动性假设(状态与具体时间无关)
P(qi+1|qi) = P(qj+1|qj),对任意i,j成立
假设3:输出独立性假设(输出仅与当前状态有关)
p(O1,...,OT | q1,...,qT) = Πp(Ot | qt)