nlp系列-纠错程序

最近在学习nlp相关技术，自己的体会结合培训老师的教学做了些整理，和各位有兴趣的同仁分享。
纠错程序是一个用于校验出一句话或一篇文章中出现错误的单词。
分三步说明

一 搭建环境

【有些资料可能涉及到别人的版权，附件就不上传了】
我用的工具是python3.6、pycharm，Mac笔记本；

准备语料库nltk

两种方法：建议用第一种
(1) 打开终端：cmd--->pip install nltk即可

（2）在pycharm中写个简单的程序text.py，代码如下:
import nltk
nltk.download()
运行后会出现下载nltk相关包，可按需下载，如果各种路径都用了还是不能下载，那可按本例最小需求下载两个包reuters和punkt，在本地nltk_data下新建两个目录，corpora和tokenizers，分别把包reuters和punkt放入目录中。

准备词库

准备测试数据

二 纠错程序流程分析

（1）读取初始化词库
（2）读取语料库
（3）生成候选词方法
（4）构建语言模型
（5）匹配词库，找出错误词语，并选出最大概率的替代词

三 代码示例

【代码参考了https://blog.csd