十二、HMM 隐马尔可夫模型（未完）

深度学习兴起之前HMM主要用于语音识别，深度学习兴起之后，HMM主要用于隐式信息挖掘和数据分析。


在这里没有用到词典，在没有词典的前提下，利用HMM可以进行分词。但是使用词典，词典里没有出现的词可能分词会出现问题。
HMM不仅可以进行分词，还可以预测与轨迹或时间序列相关的量。比如股票、台风等。凡是与时间序列或空间序列相关的都可以。


由贝叶斯网络知，图中A在不可观测的情况下B与C不独立，因此z1不可观测的情况下，x1和右边所有都不独立。
在这种情况下（不可观测），可以考虑使用HMM来处理。它处理的是结构化数据，不能随意打乱网络。

LDA与HMM。
LDA假定词之间是独立的，每个词有一个主题。
如果假定前一个词的主题和后一个词的主题有某种制约关系，但是某个主题确定了，前一个主题和后一个主题是相互独立的。如果能做这个假定，可以采用HMM模型来做主题分析。


以上A矩阵为状态转移概率矩阵

B矩阵称为混淆矩阵。即给定隐变量z，能观测到x的概率。每行加和为1，可以理解为服从多项分布。

HMM模型中，z1为最特殊的结点，它是所有结点的父节点。 pai为初始阴状态的概率分布（n维向量）。

HMM要求隐藏状态一定是离散的，如果是连续的就变成卡尔曼滤波了。观测值可连续可离散。

如果B矩阵中m=n，且给定隐藏状态一定能观测到可见状态，那么矩阵B位单位阵，即无混淆状态。