一、安装
rouge是一种摘要生成的自动评价指标,但python环境中的pyrouge安装并不方便,主要过程如下:
1、安装Perl及依赖包(参见 https://blog.csdn.net/Hay54/article/details/78744912);
2、下载ROUGE-1.5.5(参见 https://blog.csdn.net/Hay54/article/details/78744912);
3、安装pyrouge,前两步完成后,
pip install pyrouge
4、配置pyrouge path,
pyrouge_set_rouge_path /path/to/ROUGE-1.5.5
二、使用
from pyrouge import Rouge155
r = Rouge155()
r.system_dir = 'path/to/system_summaries' # 被评价的summaries
r.model_dir = 'path/to/model_summaries' # reference summaries
r.system_filename_pattern = 'some_name.(\d+).txt'
r.model_filename_pattern = 'some_name.[A-Z].#ID#.txt'
output = r.convert_and_evaluate()
output_dict = r.output_to_dict(output)
更多见 https://github.com/bheinzerling/pyrouge;
三、简版Pyrouge
Github上新的pyrouge(https://github.com/andersjo/pyrouge)可在不安装ROUGE的情况下直接安装,待尝试
Rouge原理见论文 ROUGE: A Package for Automatic Evaluation of Summaries。