自动评测（ROUGE）及及踩过的坑

最新推荐文章于 2024-07-30 17:27:05 发布
最新推荐文章于 2024-07-30 17:27:05 发布
阅读量6.2k 收藏 5
点赞数
分类专栏： 环境搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011531010/article/details/60873068
版权

最近测试了一个自动摘要的想法，人工看上去还不错。但是没有做评估的话还是心里没底。后来得知，自动摘要用的是一个叫ROUGE的评测体系，包括ROUGE-1、ROUGE-2…ROUGE-N等系列评测方法。

于是去ROUGE官网申请，得到一个下载rouge的网址，但是Google一下发现这个评测远不是那么简单。首先，需要安装，于是接下来就开始了我的踩坑之路

安装是按照该方法来的：http://www.icst.pku.edu.cn/lcwm/index.php?title=Rouge%E5%9C%A8Windows%E4%B8%8B%E7%9A%84%E9%85%8D%E7%BD%AE

坑1、按照上面教程第一步，下载好ActivePerl，sh install.sh进行安装，报错没找到2.14的版本，经查找GLIBC2.12版本没找到，

perl/bin/perl: /lib64/libc.so.6: version `GLIBC_2.14’ not found (required by perl/bin/perl)

解决思路：http://program.300460.net/perl/18191334280157290672.html
1、安装perl
2、升级glibc到2.15版本（下载地址http://ftp.gnu.org/gnu/glibc/）

云杉123
关注
专栏目录
files2rouge：计算两个文件之间的ROUGE得分（逐行）
02-03
文件2 动机 给定两个具有相同行数的文件， files2rouge计算每个序列（=行）的平均ROUGE得分。 每个序列可以包含多个句子。 在这种情况下，必须使用--eos标志（默认值：“。”）传递句子字符串的结尾。 使用错误的eos分隔符运行files2rouge可能会导致ROUGE-L得分不正确。 您可能还对Python实现（而不是包装器）感兴趣： : 。 $ files2rouge --help usage: files2rouge [-h] [-v] [-a ARGS] [-s SAVETO] [-e EOS] [-m] [-i] refer
ROUGE评价算法学习
Silience_Probe的博客
06-15 7029
      ROUGE（Recall-Oriented Understudy for Gisting Evaluation），在2004年由ISI的Chin-Yew Lin提出的一种自动摘要评价方法，现被广泛应用于DUC（Document Understanding Conference）的摘要评测任务中。ROUGE基于摘要中n元词(n-gram)的共现信息来评价摘要，是一种面向n元词召回率的评价...
【深度学习】NLP评估指标——ROUGE
最新发布
littlemichelle
07-30 529
ROUGE评估NLP任务的时候，分值是越大越好还是越小越好，以及ROUGE最大能达到多少?GPT4O在自然语言处理（NLP）任务中，ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一种常用的评估指标，特别是在文本摘要和机器翻译等生成任务中。
自动文摘评测方法：Rouge-1、Rouge-2、Rouge-L、Rouge-S
热门推荐
上帝是个娘们的博客
05-04 2万+
关于ROUGE ROUGE（Recall-Oriented Understudy for Gisting Evaluation），在2004年由ISI的Chin-Yew Lin提出的一种自动摘要评价方法，是评估自动文摘以及机器翻译的一组指标。 ROUGE基于摘要中n元词(n-gram)的共现信息来评价摘要，是一种面向n元词召回率的评价方法。基本思想为由多个专家分别生成人工摘要，构成标准摘要集，将系...
Rouge评估方法介绍及使用
weixin_44144773的博客
02-06 1590
Rouge评估方法介绍及使用
常用的ROUGE得分计算Python库（pyrouge,files2rouge,rouge,py-rouge)
sdauguanweihong的博客
02-13 9263
前言 ROUGE得分是文本摘要任务中最常用的自动评测指标，关于rouge得分的计算，可以查看原始论文 https://www.aclweb.org/anthology/W04-1013.pdf 要注意一般来说，摘要中包含多个句子，直接把多个句子拼接在一起计算ROUGE得分可能是不准确的，具体可以参考论文中的3.2部分，实际上应该具体考虑摘要中的每个句子。 在实际实验中，处于便利和效率的考虑，我们一般不会手动去实现rouge指标，通常会使用一些第三方的库。在看源码的过程中，我发现比较常用的rouge计算库有三
评价度量指标之BLEU，METEOR，ROUGE，CIDEr
DaGongJiGuoMaLu09的博客
12-25 9670
在 VTT (Video to Text) 任务中，需要衡量模型输出的视频描述语句的准确性，因为衡量的对象是一个个的自然语言文本，所以通常会选择自然语言处理领域的相关评价指标。这些指标原先都是用来度量机器翻译结果质量的，并且被证明可以很好的反映待评测语句的准确性，主要包含4种：BLEU，METEOR，ROUGE，CIDEr。 1、BLEU BLEU(Bilingual Evaluation und...
ROUGE.tar.gz
12-18
ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一种自动评估文本摘要质量的工具，主要用于衡量机器生成的摘要与人工摘要之间的相似度。它广泛应用于自然语言处理（NLP）领域，尤其是文本摘要和机器...
ROUGE-2.0：ROUGE自动摘要评估工具包。 支持ROUGE- [N，L，S，SU]，不同语言的词干和停用词，unicode文本评估，CSV输出
02-03
ROUGE 2.0是用于自动汇总任务的易于使用的评估工具包。 它使用度量标准系统，该系统通过将自动生成的摘要或翻译与一组参考摘要（通常是人为生成的）进行比较来工作。 ROUGE是计算自动生成的摘要的有效性的标准方法...
中文摘要评估Rouge
03-07
Rouge没有提供中文的摘要的评估方法，通过将中文转为数字ID的形式实现中文摘要的评估
ROUGE及其相关模块
05-10
ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一种广泛用于自动文本摘要评估的指标，由Lin在2004年提出。这个工具主要衡量一个摘要与原文本之间的重叠度，以此来评估摘要的质量。ROUGE的核心思想是...
pythonrouge：用于通过ROUGE包评估汇总质量的Python包装器
02-17
pythonrouge 这是使用ROUGE（汇总评估工具包）的python包装器。 在此实现中，您可以评估各种ROUGE指标。 您现在可以使用参考摘要评估系统摘要。 不必像一般的ROUGE包中那样制作xml文件。 但是，如果将系统摘要和参考摘要保存在特定目录中，则可以以标准方式评估ROUGE分数。 在文档摘要研究中，大多数情况下使用ROUGE度量的召回率或F度量。 因此，为方便起见，您可以选择召回率或F量度，也可以选择ROUGE评估结果的这两种。 欢迎任何反馈或意见。 安装 您可以通过两种方式安装pythonrouge # not using pip git clone https://github.com/tagucci/pythonrouge.git python setup.py install # using pip pip install git+https://gith
【文本生成评价指标】 ROUGE原理及代码示例py
张某文_Lambda的博客
03-25 5550
代码演示了如何使用 Python 中的 rouge 库来计算生成文本和参考文本之间的 ROUGE 指标，以评估文本生成算法的质量。
chatgpt赋能python：介绍PythonRouge
「 虚幻私塾」
05-26 298
在使用Python Rouge生成摘要时，关键是优化SEO以提高摘要质量。保持查询短小：较短的查询和摘要可以提高文章质量。使用关键字：使用关键字并以字数为限制限制摘要长度。避免重复：避免在描述中重复使用同一关键字。使用元描述：为网页描述使用元描述标记来提高搜索引擎评级。通过使用Python Rouge算法和优化SEO技巧，您可以生成高效而优质的文本摘要。此外，Python Rouge算法的使用能够提高文本处理的效率和质量，因此在现代自然语言处理领域中非常重要。
【python】测试中文文本的Rouge-1、Rouge-2、Rouge-L的值
weixin_44729515的博客
05-10 756
解决问题：测试中文文本的rouge值，用于评估大模型的性能。
Linux系统下，rouge及pyrouge的安装，配置和使用
wwwwzm的博客
10-18 537
rouge、pyrouge几种安装配置方法的汇总
python通过rouge-chinese库实现中文Rouge评价指标（超简单）
Isaac_Chen_的博客
09-19 5087
专用于计算中文rouge指标的python库
基于Seq2Seq模型的文本生成评价指标解析
qq_43588670的博客
01-08 705
文本生成目前的一大瓶颈是如何客观，准确的评价机器生成文本的质量。一个好的评价指标（或者设置合理的损失函数）不仅能够高效的指导模型拟合数据分布，还能够客观的让人评估文本生成模型的质量，从而进一步推动 text generation 商业化能力。
文本生成：自动摘要评价指标 Rouge
SunnyGJing’s blog
10-25 9144
Rouge的全名是Recall-Oriented Understudy for Gisting Evaluation，单看名字就会发现Rouge是由召回率演变而来的指标，用于衡量模型生成摘要文本的质量。我们常说的Rouge其实是一组评价指标的统称，包含Rouge-N, Rouge-L, Rouge-W, Rouge-S四个指标，它们的计算方式和适用场景有所不同。本文首先介绍了它们各自的适用场景和计算方式，并给出了简洁可用的代码示例，最后写下了一点个人思考。
基于HTMM的多特征自动文摘提升ROUGE值
本文主要探讨了一种创新的自动文摘方法，即基于隐主题马尔科夫模型（Hidden Topic Markov Model, HTMM）的多特征自动文摘策略。传统的主题模型如Latent Dirichlet Allocation (LDA)通常假设主题是独立的，但在实际...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值