浅尝马尔科夫模型

马尔科夫模型（Markov Model）又是一个我之前经常听到但从未弄明白的模型。下面我们试着来增进对它的理解。
本文将讨论在离散情况下使用马尔科夫模型的统计决策方法。
贝叶斯决策的基本思想是根据一定的概率模型得到样本属于某类的后验概率，然后根据后验概率的大小进行决策。
问题描述：基因组上CpG相对富集的区域被称作CpG岛，接下来我们要从给定的一定DNA序列，判断它是否来自CpG岛，这属于一个两分类问题。
DNA序列每个位置上的核苷酸都可以被当作一个有四种可能取值的离散随机变量 x = { A , T , G , C } x=\{A, T, G, C\} x={ A,T,G,C}。
在上述问题中我们要考虑连续位置上出现的CpG双核苷酸，可以用马尔科夫模型来表示这种相邻位置之间的依赖关系。如果第$i$时刻上的取值依赖于且仅依赖于第$i-1$时刻的取值，即$P(x_i|x_{i-1},x_{i-2},...,x_1)=P(x_i|x_{i-1})$,则把这个串称作一个一阶马尔科夫链（模型）。
马尔可夫链可以用条件概率模型来描述。我们把在前一时刻某取值下当前时刻取值的条件概率称作转移概率(Transition Probability），记为 a s t = P ( x i = t ∣ x i − 1 = s ) a_{st}=P(x_i=t|x_{i-1}=s) ast​=P(xi​=t∣x