作为一个30+的java老码农,忽然某一天对NLP充满了兴趣,然后开始打算转行做自然语言,但是学习的时候基本上不知如何入手,幸运的是面试进入了一家知名的NLP公司做小弟,这是第一次写博客,在这方面也是个彩笔,有一些东西是各种教程上看到的,如果有抄袭的地方,请勿谩骂,只是为了自己能记住
隐马尔科夫模型常用语 语音识别和词性标注,目前我们公司的NLU就是用HMM来做的slot,
HMM基本要素包含两个状态,3个概率(矩阵)
即:隐藏状态集,观察状态集
初始矩阵,状态转换矩阵,混淆矩阵
我们以词性标注方面的例子来进行解释:
举例:
可观察状态:我 是 IT 码农
隐藏状态 :代 动 名 名(分词之后的词性)
状态转换矩阵:
代词 动词 名词
代词 0.5 0.25 0.25
动词 0.375 0.125 0.375
名词 0.125 0.625 0.375
混淆矩阵(观察集合–>隐藏集合的概率)
我 是 IT 码农
代词 0.60 0.20 0.15 0.05
动词 0.25 0.25 0.25 0.25
名词 0.05 0.10 0.35 0.50
初始概率
代词 动词 名词
〔0.63 0.17 0.20〕