超级会员免费看
语言模型的优劣可通过实用方法（实际应用表现）和理论方法（迷惑度/困惑度/混乱度）来评估。理论方法中，迷惑度小意味着句子概率大，模型越好。例如，使用38million words训练n-gram模型，在1.5million words测试集上的迷惑度可反映模型性能。
语言模型构造完成后，如何确定好坏呢？ 目前主要有两种评价方法：
- 实用方法：通过查看该模型在实际应用（如拼写检查、机器翻译）中的表现来评价，优点是直观、实用，缺点是缺乏针对性、不够客观；
- 理论方法：迷惑度/困惑度/混乱度（preplexity），其基本思想是给测试集的句子赋予较高概率值的语言模型较好,当语言模型训练完之后，测试集中的句子都是正常的句子，那么训练好的模型就是在测试集上的概率越高越好，公式如下：
由公式可知，迷惑度越小，句子概率越大，语言模型越好。使用《华尔街日报》训练数据规模为38million words构造n-gram语言模型，测试集规模为1.5million words，迷惑度如下表所示：
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
