MarkovModels马尔科夫模型读书笔记

前言

本来是想了解HMM模型（隐马尔科夫模型），但是HMM是建立在MarkovModels模型的基础上，这里就简单的介绍一下马尔科夫模型，其实类似翻译啦。参考UMDHMM

概念介绍

1. 可观察状态（Observable states）：1,2…,N （例如天气的状态，sunny,rainy,cloudy，3中状态）
2. 可观察状态序列（Observed sequence）
   （PS：一般都是随时间而改变，例如day1 sunny,day2 cloudy, day3 sunny, day4 rainy）
   q1, q2, … , qt, …, qT （t代表时间下标，也可以认为是序列下标）
3. 一阶马尔科夫假设（First order Markov assumption）
   
   简单来说就是t时间状态为j的概率依赖前一时刻的概率。概率公式的含义就是1到t-1的可观察序列前提下
   t时刻可观察状