用eviews做svar模型_【语言模型】用KenLM来做完形填空

上一篇文章中，我们从零开始实现了一个简单的N-gram模型，完成了训练、预测的过程。今天我们来介绍一个工具KenLM，它是用C++写的，速度快，对内存友好。它是一个可以用来训练N-gram语言模型的工具。所以本文使用它再来走一遍训练N-gram模型并做完形填空的流程。

KenLM的网站：https://kheafield.com/code/kenlm

环境搭建过程中需要用到的软件或文件我已整理好，后台回复ngram获取。

Linux环境准备

由于训练模型只能在Linux系统上操作，所以首先需要有一个Linux环境。

如果实在没有Linux环境，也可以在Windows下安装Cygwin软件，模拟Linux环境：

从官网http://www.cygwin.com/下载Cygwin的安装软件，双击下载安装。安装过程很简单，保持默认选项，一直“下一步”即可。有几点可能需要修改的：

1. 选安装目录时可以用默认的也可以重新选择，我选的是E:/cygwin64这个路径。
2. 选择下载站点(Choose A Download Site)时，为了下载快，可以在User URL处添加(Add)镜像http://mirrors.163.com/cygwin/或http://mirrors.aliyun.com/cygwin/
3. 选择需要下载安装的组件包(Select Packages)，如下图所示：

   

选择Base，点击右边的倒三角，将其选为Install，就表示我们要安装Base下面的所有组件，当然你也可以展开Base，只选择部分组件安装。我这里为了省事，就选了整个。同样的方法，选择Base，Devel，Libs，Net，System，Utils几个模块。其中Devel包括了我们开发需要用到的组件。

选好之后，一直点击下一步，就会进入安装状态，等待它安装完成即可。

安装完成之后，可以选择创建桌面快捷方式。如果你像我一样忘了创建快捷方式的话，可以通过在安装目录下双击Cygwin.bat打开Cygwin。

安装目录下其实就是模拟了Linux环境，所以打开Cygwin的效果和你打开Linux系统的终端是一样的。相当于在Windows里内嵌了一个简易的Linux系统，是不是超棒！

更详细的安装步骤可以查看参考资料[1]。

安装kenlm

打开终端，进入home，创建一个目录，用来存放kenlm环境(也可以直接放在当前