【NLG】(七)文本生成评价指标—— NIST原理及代码示例

前奏：

【NLG】(一)文本生成评价指标——BLEU原理及代码示例

【NLG】(二)文本生成评价指标—— METEOR原理及代码示例

【NLG】(三)文本生成评价指标—— ENTROPY原理及代码示例

【NLG】(四)文本生成评价指标—— diversity原理及代码示例

【NLG】(五)文本生成评价指标—— kl_divergence原理及代码示例

【NLG】(六)文本生成评价指标—— ROUGE原理及代码示例

---

1.NIST原理

NIST(National Institute of standards and Technology)方法是在BLEU方法上的一种改进。

最主要的是引入了每个n-gram的信息量(information) 的概念。BLEU算法只是单纯的将n-gram的数目加起来，而nist是在得到信息量累加起来再除以整个译文的n-gram片段数目。这样相当于对于一些出现少的重点的词权重就给的大了。

信息量的计算公式是：

解释一下：分母是n元词在参考译文中出现的次数，分子是对应的n-1元词在参考译文中的出现次数。对于一元词汇，分子的取值就是整个参考译文的长度。这里之所以这样算，应该是考虑到出现次数少的就是重点词这样的一个思路。

计算信息量之后，就可以对每一个共现n元词乘以它的信息量权重，再进行加权求平均得出最后的评分结果：

这里注意几个地方：

1、N一般取5

2、β是一个常数，在Lsys/Lref=2/3 时，β使得长度罚分率为0.5，它是个经验值

3、Lref 是参考答案的平均长度（注意L的上方有一个平均符号）

4、Lsys是译文的长度

2.优缺点

暂且不表

3.怎么计算

调试中

 

参考：

1.原理以及计算代码：https://www.cnblogs.com/by-dream/p/7765345.html