【源码+文档】基于隐马尔可夫模型和维特比算法的拼音输入法

原理与实现

抽象模型

求使得 $P(s) = ΠP(w_i|w_{i−1}) $最大的句子。

二元模型当中，将每个单独的拼音作为一个节点$P(w_i)$，通过统计二元词汇出现频率作为$P(w_i|w_{i-1})$ ，通过动态规划(维特比算法)的方式求出$P(s)max$，得出生成的语句。

在三元模型当中，对于词组abc，ab作为一个节点$P(w_{i-1})$，c作为节点 $P(wi)$，$P(w_{i-1})$代表两个汉字，$P(wi)$代表一个汉字。其他与二元模型同理。

算法实现细节

字典集

• 对语料进行中文过滤、分词与词频统计
  • 分词之后得到的词语长度如果>3，例如abdc，那么在统计2元字典集时作为3个词：ab,bc,cd，在统计3元字典集时作为2个词：abc,bcd
• 由于给出的语料偏向新闻方面，因此自己在网络上收集了其他的语料并进行了处理
• 如上得到的字典集存在可能的问题是，在二元和三元字典集当中可能会统计入奇怪且无意义的词。因此对字典集进行筛选，二元字典集当中出现次数少于20、三元字典集中出现次数少于10的词语会被删掉。
• 最终得到的文件为：
  • word1_b.txt
  • word2_b.txt
  • word3_b.txt

对概率取对数

由于每个词语本身的概率较小，为了减小误差和抖动，在计算初始概率及转移概率时均对概率取对数并取相反数。

相应地，在进行状态转移时最优的选择是值最小的节点。

 

 源码和文档都托管在了【WRITE-BUG数字空间】上面了，有需要的可自取~