这里以中文分词为例:
在正常的马尔可夫模型中,状态对于观察者来说是直接可见的。这样状态的转换概率便是全部的参数。而在隐马尔可夫模型中,状态并不是直接可见的,但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一定的概率分布。因此输出符号的序列能够透露出状态序列的一些信息。
隐马尔科夫模型一共有两组状态,三个矩阵:
- 隐藏状态:一个系统的(真实)状态,可以由一个马尔科夫过程进行描述,表示为: w,w 为词。
- 观察状态:在这个过程中‘可视’的状态,表示为: C (字符串)。
- 初始状态概率向量:模型在最初隐藏状态的概率,表示为:
P(w) - 状态转移概率矩阵:包含了一个隐藏状态到另一个隐藏状态的概率,表示为: P(wn|wn−1)
- 发射概率(混淆矩阵):包含了给定隐马尔科夫模型的某一个特殊的隐藏状态,观察到的某个观察状态的概率,表示为:
P(C|S)=1,C
为字符串,
S
为词
w 组成的词串。
二元分词即齐次隐马尔科夫模型分词