文章介绍了评估自然语言生成任务性能的五个关键指标：Perplexity衡量语言模型的预测能力，BLEU通过n-gram重叠度评估生成质量，ROUGE关注召回率，METEOR考虑词汇、语法和语义相似度，CIDEr针对图像描述任务，而MoverScore评估语义距离。这些指标各有侧重点，适用于不同的应用场景。
1.Perplexity
Perplexity（困惑度）是衡量语言模型预测能力的指标。它是给定一个测试集后，模型为了预测该测试集上的下一个词，所需要的平均困惑度。困惑度越低，模型的预测效果越好。
公式： P e r p l e x i t y = 2 − 1 N ∑ i = 1 N l o g 2 P ( w i ∣ w 1 , w 2 , . . . , w i − 1 ) Perplexity = 2^{-\frac{1}{N}\sum_{i=1}^{N}log_2P(w_i|w_1,w_2,...,w_{i-1})} Perplexity=2−N1∑i=1Nlog2P(wi∣w1,w2,...,wi−1)
其中， N N N为测试集中的词数， P ( w i ∣ w 1 , w 2 , . . . , w i − 1 ) P(w_i|w_1,w_2,...,w_{i-1}) P(wi∣w1,w2,...,wi−1)是给定前 i − 1 i-1 i−1个词的条件下预测第 i i i个词的概率。
举例：假设测试集中有100个词，我们的语言模型在预测这些词时，平均每个词的困惑度为10。则该模型的Perplexity为 2 − 1 100 ∑ i = 1 100 l o g 2 P ( w i ∣ w 1 , w 2 , . . . , w i − 1 ) = 2 10 = 1024 2^{-\frac{1}{100}\sum_{i=1}^{100}log_2P(w_i|w_1,w_2,...,w_{i-1})} = 2^{10} = 1024 2−1001∑i=1100log2P(wi∣w1,w2,...,wi−1)=210=1024。
2.BLEU
BLEU（双语评估下的语言理解度）是用于自然语言生成任务的评估指标。它通过计算生成的句子与参考答案之间的n-gram重叠度来衡量生成结果的质量。BLEU的值越高，表示生成结果越接近参考答案。
公式： B L E U = B P ⋅ e x p ( ∑ n = 1 N w n l o g p n ) BLEU = BP \cdot exp(\sum_{n=1}^Nw_nlogp_n)
最低0.47元/天 解锁文章
扫一扫
721
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
