qq_39380236的博客

原创 基于c++的n元文法的一种实现方式，从一个txt中形成模型，计算另一个txt的困惑度

训练语料和测试语料为pku和msr的txt文本，在每个txt中，每句话自身的单词之间由两个空格隔开，文本需为ANSI编码，每个字或符号都由两个char型组成。 模型为一个map，map的键为n-1个单词连在一起，形成的一个string，map的值为另一个map2，map2的键为第n个单词，map2的值为此单词出现次数，例如三句话：我 喜欢 夏天、我 喜欢 冬天、我 不喜欢 春天。得到的模型为： 我→喜欢→2 →不喜欢→1 喜欢→夏天→1 →冬天→1 不喜欢→春天...