马尔科夫系列——一、隐马尔可夫模型 - 马尔可夫链、HMM参数和性质

       发现简书上有一个作者写的有关马尔科夫系列的文章写得详细、生动并且系统，特转载过来学习一下。原文地址：隐马尔可夫模型 - 马尔可夫链、HMM参数和性质

目录

一、马尔可夫性质

二、马尔可夫链

例子:假设认为股价有三种状态(高、中、低)；

三、HMM-隐马尔可夫模型

四、HMM参数

五、HMM的两个基本性质

---

一、马尔可夫性质

马尔科夫性质——当前的状态只和上一时刻有关，在上一时刻之前的任何状态都和我无关。我们称其符合马尔可夫性质。

具体的理论化描述如下：

设{X(t), t ∈ T}是一个随机过程，E为其状态空间，若对于任意的t1<t2< ...<tn<t，任意的x1,x2,...,xn,x∈E，随机变量X(t)在已知变量X(t1)=x1,...,X(tn)=xn之下的条件分布函数只与X(tn)=xn有关，而与X(t1)=x1,...,X(tn-1)=xn-1无关，即条件分布函数满足下列等式，此性质称为马尔可夫性；如果随机过程满足马尔可夫性，则该过程称为马尔可夫过程。

二、马尔可夫链

马尔可夫链 是指具有马尔可夫性质的随机过程。在过程中，在给定当前信息的情况下，过去的信息状态对于预测将来状态是无关的。——可以称之为马尔科夫无后效性。

例子：在今天这个时间点而言，过去的股价走势对我预测未来的股价是毫无帮助的。
PS：上面马尔可夫链中提到的状态，在本例指的是股价。

在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变成另外一个状态，也可以保持当前状态不变。状态的改变叫做转移，状态改变的相关概率叫做转移概率。

例子： 当前时间状态下的股价，可以转变成下一时刻的股价，股价的转变即状态的改变。这个状态现在可以上升(股价提高)，状态也可以下降。我可以根据当前股票的价格去决定下一刻股价上升、下降、不变的概率。这种股价变动的概率称为状态转移概率。

马尔可夫链中的三元素是：状态空间S、转移概率矩阵P、初始概率分布π。

例子:假设认为股价有三种状态(高、中、低)；

1、状态空间S - 例： S是一个集合，包含所有的状态 S股价={高，中，低}；

2、初始概率分布π - 例：
股价刚发行的时候有一个初始价格，我们认为初始价格为高的概率为50%，初始价格为中的概率是30%，初始价格为低的概率是20%。我们记股票价格的初始概率分布为：π=(0.5，0.3，0.2)；对应状态：(高、中、低)；初始概率分布是一个向量，如果有n个状态，π是n维向量。

3、转移概率矩阵P - 例：
现在有个股价为中，下一个时刻状态转变的可能性有三种，中→高、中→低、中→中；将三种转变的概率。此外当前时刻也有股票的价格属于低，对应的转变可能包括低→高、低→低、低→中；即每种状态都有可能转变成其他的状态，若一共有n个状态，形成的转移概率矩阵应该是n×n阶矩阵。这里需要注意的是，股价从高→低，和低→高的概率是不同的。

马尔可夫链案例：

设将天气状态分为晴、阴、雨三种状态，假定某天的天气状态只和上一天的天气状态有关，状态使用1(晴)、2(阴)、3(雨)表示，转移概率矩阵P如下：

第n+1天天气状态为j的概率为：

 

因此，矩阵P即为条件概率转移矩阵。矩阵P的第i行元素表示，在上一个状态为i的时候的分布概率，即每行元素的和必须为1。

 

三、HMM-隐马尔可夫模型

隐马尔可夫模型(Hidden Markov Model, HMM)是一种统计模型，在语音识别、行为识别、NLP、故障诊断等领域具有高效的性能。

HMM是关于时序的概率模型，描述一个含有未知参数的马尔可夫链所生成的不可观测的状态随机序列，再由各个状态生成观测随机序列的过程。

HMM是一个双重随机过程---具有一定状态的隐马尔可夫链和随机的观测序列。

HMM随机生成的状态随机序列被称为状态序列；每个状态生成一个观测，由此产生的观测随机序列，被称为观测序列。

 

思考：z1,z2...,zn是不可观测的状态，x1,x2,...xn是可观测到的序列；不可观测的状态决定可观则序列的值(z的取值决定X的取值);

1、在z1、z2 不可观测的情况下，x1和z2独立吗？x1和x2独立吗？

回答：这个问题可以回顾之前的贝叶斯网络来理解。
首先z1，z2都是离散的值，但x1的值可能是离散的也可能是连续的。比如z是天气情况，每天天气的改变是离散的。x是因为天气而改变的一些其他状态，比如x=(地面是否潮湿、路上行人数量、雨伞销售数量...)；
在z1和z2不可观测的情况下，x1和z2不独立，x1和x2也是不独立的。

2、 在z1、z2可观测的情况下，x1和z2独立吗？x1和x2独立吗？

回答： 在z1和z2可观测的情况下，因为x1和z2的取值只和z1有关，所以就独立了。同样在给定了z1和z2的情况下，x1和x2也独立。

HMM由隐含状态S、可观测状态O、初始状态概率矩阵π、隐含状态转移概率矩阵A、可观测值转移矩阵B(又称为混淆矩阵，Confusion Matrix)；

π和A决定了状态序列，B决定观测序列，因此HMM可以使用三元符号表示，称为HMM的三元素：

S可以统计历史出现的所有状态；
初始概率分布π，统计S中各个状态各自出现的概率作为我们的初始概率分布π向量值；

四、HMM参数

S是所有可能的状态集合，O是所有可能的观测集合：

是长度为T的状态序列，Q是对应的观测序列：

S={下雨，阴天，晴天}；O={地上干，地上湿}
I = {晴，雨，雨，阴，晴，阴}
Q={干，湿，湿，湿，干，干}

A是隐含状态转移概率矩阵:

其中aij是在时刻t处于状态si的条件下时刻t+1转移到状态sj的概率。
a晴雨 = 某天是晴天条件下，下一天是雨天的概率。 （某一时刻→下一时刻）

 

B是可观测值转移概率矩阵:

其中bij是在时刻t处于状态si的条件下生成观测值oj的概率。
b晴干 = 某天是晴天条件下，某天是地是干的的概率。 （同一时刻）

π是初始状态概率向量:

 

其中πi是在时刻t=1处于状态si的概率。
π晴 = 初始第一天是晴天的概率；
π雨 = 初始第一天是雨天的概率；

五、HMM的两个基本性质

p(it | .....) 表示在从t-1时刻的观测值qt-1，一直到第1时刻观测值q1的条件下，在第t时刻发生状态的概率。

性质1： 最终分析结果发现，在第t时刻发生状态的概率it只和t-1时刻有关。
性质2： 第t时刻的观测值qt只和第t时刻的状态it有关。

隐马尔科夫模型的缺点：

HMM模型中存在两个假设：一是输出观察值之间严格独立，二是状态的转移过程中当前状态只与前一状态有关(一阶马尔可夫模型)，能够处理的问题也很局限了。应用场景应该比较狭窄。