马尔科夫典例精析

典例分析：
有4个盒子，每个合作中都装有红、白两种颜色的球，总共有5个。第一个盒子2红球，3个白球；第二个盒子：4个红球和1个白球；第三个盒子：4个白球，1个红球；第4个盒子；2个白球，3个红球。
抽取规则：
开始时候，随机在这4个盒子选一个盒子抽球，抽取后，记录球的颜色，然后放回，按照盒子的转移规则继续抽球；
转移规则：
如果盒子为1则无条件的转移到盒子2；如果当前盒子为2或者3，则分别以0.4和0.6的概率转移到上一个盒子和下一个盒子；如果当前盒子为4，则以0.5的概率留在当前盒子，以0.5的概率转移到3号盒子，如此继续抽球。
解析：
初始状态被选中的概率为：π= ( ■(0.25&0.25 )■(0.25&0.25))
经过两次抽球后观察得到的结果为
Q:求出是从哪两个盒子里抽出的球？（隐含状态序列）
根据初始状态求出第一次取出红球的概率：

第二次抽取，需要基于第一次抽取的基础上根据状态转移矩阵，来分别计算抽到白球的概率：
，状态矩阵：
第一种情况：

第二种情况：

第三种情况：

第四种情况：

寻找第一次抽取得到红球概率最大是在第2个盒子中抽取的，第二次概率最大是在第3个盒子中抽取的。
因此最有可能的路径为：从2号盒子抽到红球在转移到3号盒子中抽到白球。（HMM解码的过程）