自然语言处理NLP——SRILM使用手记

一 下载与安装

http://www.speech.sri.com/projects/srilm/download.html

 首先在windows平台下得使用crywin来进行运行 先下载crywin 对上图所需的工具进行安装

参考文章 Windows下基于cygwin安装srilm 在windows平台下将环境配置成功

在这里强调两点

1.在环境变量这里  我去文件目录下找到/bin/cygwin64这个是我1.7.3版本中的路径

	export SRILM=/srilm-1.7.3  
	export MACHINE_TYPE=cygwin
	export PATH=$PATH:$pwd:$SRILM/bin/cygwin64
	export MANPATH=$MANPATH:$SRILM/man

2.在使用ngram测试安装是否成功之后就可以正常调试了

这是第一步配置环境的问题。

二 SRILM使用教学

环境配置成功

接下来是对srilm软件的使用

SRILM的主要目标是支持语言模型的估计和评测。估计是从训练数据（训练集）中得到一个模型，包括最大似然估计及相应的平滑算法；而评测则是从测试集中计算其困惑度（MIT自然语言处理概率语言模型有相关介绍）。其最基础和最核心的模块是n-gram模块，这也是最早实现的模块，包括两个工具：ngram-count和ngram，相应的被用来估计语言模型和计算语言模型的困惑度
有不会的可以点击这里查看官方的工具模块的说明文档

• 举例说明

 对于使用说明非常详细

所以根据情况对文件进行训练 

这里采用了训练集和测试集 

1.首先是从训练集里面生成n-gram计数文件

ngram-count -text news.train -order 3 -write news.count1

 -text 读取文件   

 -order 生成n元的n-gram 

 -write 输出文件

数据内容如图 第一列为n元词 第二列为相对应的频率

2.从中间文件中生成训练模型

ngram-count -read news.count1 -order 3 -lm news.lm -interpolate -kndiscount

-lm 指向训练好的语言输出文件  最后两个参数为所采用的平滑方法，-interpolate为插值平滑，-kndiscount为 modified　Kneser-Ney 打折法，这两个是联合使用的。需要补充的是，一般我们训练语言模型时，这两步是合二为一的，这里主要是为了介绍清楚n-gram语言模型训练的步骤细节

 很清晰表达了一元词的基本情况  文件后有二元词三元词的情况 

 3.利用生成的语言模型计算测试集的困惑度

ngram -ppl news.test -order 3 -lm news.lm>news.lm.ppl

采用news.test 测试集对数据进行测试 参数-ppl为对测试集句子进行评分(logP(T)，其中P(T)为所有句子的概率乘积）和计算测试集困惑度的参数  news.lm.ppl为输出结果

file news.test: 91233 sentences, 1970648 words, 34583 OOVs
0 zeroprobs, logprob= -5021937 ppl= 300.0252 ppl1= 392.5443

我来解释一下，这里是说测试集的句子数，单词数以及没有出现过的词出现的次数

无0概率，logP(T)=-5021937，ppl==00.0252, ppl1= 392.5443，均为困惑度。