【数据挖掘学习笔记】6.随机过程与抽样

一、马尔可夫模型

马尔可夫性(无后效性)

– 过程（或系统）“将来”的情况与“过去”的情况无关，则成过程（或系统）具有马尔可夫性
– 具有马尔可夫性的随机过程称为马尔可夫过程
– 时间和状态都是离散的马尔可夫过程称为马尔可夫链

转移概率

称条件概率为马氏链在时刻m处于状态ai条件下,在时刻m+n转移到状态aj的转移概率。

说明: 转移概率具有特点

由转移概率组成的矩阵称为马氏链的转移概率矩阵.

此矩阵的每一行元素之和等于1.它是随机矩阵.

平稳性

当转移概率 Pij(m, m+n) 只与 i, j 及时间间距n有关时, 称转移概率具有平稳性. 同时也称此链是齐次的或时齐的. 

反射壁：走到某端点必弹向另一边

吸收壁：走到某端点被吸收

转移概率决定了马氏链的运动的统计规律. 
确定马氏链的任意n步转移概率成为马氏链理论中的重要问题之一

C-K方程

结论

马氏链的n步转移概率是一步转移概率的 n 次方,链的有限维分布可由初始分布和一步转移概率完全确定.

二、隐马尔可夫模型

HMM的假设：
– 对于一个随机事件，有一个观察值序列：O1,...,OT
– 该事件隐含着一个状态序列：X1,...,XT
– 假设1：马尔可夫假设（状态构成一阶马尔可夫链）
 p(Xi|Xi-1…X1) = p(Xi|Xi-1)
– 假设2：不动性假设（状态与具体时间无关） 
p(Xi+1|Xi) = p(Xj+1|Xj)，对任意i,j成立
– 假设3：输出独