用到一两个image caption任务的模型,模型中没有给出性能评估的方法,于是在github上找到了一个能够评估image caption的模型,该模型能够帮助计算常见的评价指标的结果,包括Bleu1
,Bleu2
,Bleu3
,Bleu4
,METEOR
,ROUGE_L
,CIDEr
,SkipThoughtsCosineSimilarity
,EmbeddingAverageCosineSimilarity
,VectorExtremaCosineSimilarity
,GreedyMatchingScore
。
github地址:点击链接
依照github上的要求一步步安装后,在nlg-eval-master
根目录上导入result.txt
(生成的caption),caption1.txt
(caption的标准结果1),caption2.txt
(caption的标准结果2),caption3.txt
(caption的标准结果3),caption4.txt
(caption的标准结果4),caption5.txt
(caption的标准结果5),并创建文件evaluation.py
:
import nlgeval
res=nlgeval.compute_metrics(hypothesis='./result.txt',
references=['./caption1.txt','./caption2.txt','./caption3.txt','./caption4.txt','./caption5.txt'])
print(res)
就会得到各评价指标的结果。