srilm的使用，参考别处，此为记录，方便日后查询

使用：

由于计算机内存的限制，将处理的文件分为小文件和大文件两种：

小文件：

词频统计：

ngram-count -text train.txt -order 3 -write train.count

模型训练：

ngram-count -read train.txt.count -order 3 -lm train.lm -interpolate -kndiscount

-read指向输入文件，为上一步的输出文件

-order与上同

-lm指向训练好的语言模型输出文件

最后两个参数为所采用的平滑方法，-interpolate为插值平滑，-kndiscount为 modified Kneser-Ney 打折法，这两个是联合使用的

计算困惑度：

ngram -ppl test.txt -order 3 -lm LM > result

-ppl为对测试集句子进行评分(logP(T)，其中P(T)为所有句子的概率乘积）和计算测试集困惑度的参数

result为输出结果文件

其他参数同上。

大文件：

切分：

split -l line_num_of_file inputfile outputfiledir /outputfie_prefix

例：split -l 10000 train.txt filedir/

具体split的使用方法可以自己查询。

单个文件词频统计：

make-batch-counts  file-list 1 cat counts -order 3 -sort

file-list是个文件名，这个文件存储了你分割大文件而得到的小文件的文件名；5的意识是每5个小文件用于一次ngram-count训练，获得对应的count文件；cat 是用于过滤输出的脚本名，我们这里直接输出；后面的是传给ngram-count的参数，可以自己根据需要写。

合并结果：

 merge-batch-counts [ -l N ] counts [ filename-list ]

例：merge-batch-counts ./counts

将counts目录下的所有文件合并成一个文件，如果有些文件不用参与合并，可以在最后添加一个filename-list，只有在filename-list里面出现的文件才会被用于合并；-l N参数之处，一次同时合并N个文件。

训练语言模型：

make-big-lm -read ../counts/*.ngrams.gz -lm ../split.lm -order 3

用法同ngram-count 

计算困惑度：

ngram -ppl filepath.txt -order 3 -lm split.lm -debug 2 > file.ppl

备注：

语料必须是分好的词，即用空格隔开，英文的书写都是用空格隔开的，但中文的书写各个字词之间并未空格，因此需要使用分词工具将文本自动分词，中文自动分词也是技术活，属于NLP范畴，常用的分词工具有：jieba、SnowNLP、pynlpir，thulac等，可以自己下载使用。

 

原文：https://blog.csdn.net/nsh119/article/details/81171208