马尔科夫模型
马尔科夫模型是单重随机过程,是一个2元组:(S,A)。
其中S是状态集合,A是状态转移矩阵。
只用状态转移来描述随机过程。
马尔科夫模型的2个假设
有限历史性假设:t+l时刻系统状态的概率分布只与t时刻的状态有关,与t时刻以前的状态无关;
齐次性假设:从t时刻到t+l时刻的状态转移与t的值无关。
以天气模型为例
天气变化有3中状态S:{1(阴),2(云),3(晴)}
图片来自网络
则状态转移矩阵A:
这样,只要知道的初始状态概率向量,就能预测接下来每天的天气了。
隐马尔科夫模型
隐马尔科夫模型是双重随机过程,是一个5元组:
V是输出集合。
表示在状态j时输出k的概率。
是初始状态概率。
用状态转移和输出概率