用Python写一个拼音输入法

拼音输入法的简单实现可以归结为使用维特比算法求解汉字隐马尔可夫模型的问题：将用户输入的拼音转换为字层，使用维特比算法求解得到概率最大的一个“字链”，这个“字链”便是拼音输入法输出的文字。主要的几个步骤包括：

1、语料数据的预处理：把语料内容从文件列表中抽取出来，分句，去掉非中文字符。2、在所有语料中，计算每个汉字的出现频次。3、在所有语料中，计算当前汉字与其前面的汉字共同出现的频数，并计算其频率。4、建立输入拼音与汉字的匹配关系，构造输入拼音对应汉字的隐马尔科夫模型。5、使用维特比算法求解，得到概率最大的一个“字链”，取这个“字链”为输出的句子。6、测试准确率。

1 代码构造

根据需求和实现步骤，写3个python程序。

第一个根据输入的语料库，计算汉字出现的频次、汉字与前一个汉字共同出现的频次和语料库的总字数。

第二个，首先根据“拼音汉字表”构造拼音与汉字的对应关系，将用户输入的拼音通过这个对应关系形成一个隐马尔科夫模型。根据第一个程序得出的结果，使用维特比算法，计算得到概率最大的“字链”，将这个“字链”输出为句子。

第三个，使用测试数据集，测试输入法的准确率和整句准确率。

代码结构如下。

2 实现过程

2.1 数据预处理

模型使用2016年2月、4-11月共9个月的新浪新闻语料数据进行模型训练。在训练之前，使用re.split()对语料中每一条新闻进行分句，分句依据为特定的标点符号，作为分句的标点为：（1）中文标点“：”、“。”、“……”、“，”、“？”、“、”（2）英文标点：“:”、“,”“!”、“?”。

由于只考虑6763个一二级汉字，为提高模型的可靠性，在分句时，如果这句话出现基本汉字之外的汉字，则不将这句话纳入模型训练。另外，使用“零一二三四五六七八九”代替阿拉伯数字“123456789”。同时，在每一句话中去掉所有非中文字符。对每一个数据集