Python自动文本摘要Rouge-N的实现

最新推荐文章于 2024-06-28 17:50:47 发布
最新推荐文章于 2024-06-28 17:50:47 发布
阅读量2.1k 收藏 14
点赞数 1
分类专栏： NLP 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Herbe_chanceux/article/details/109014733
版权

本文只适用于简单的使用Rouge-1, Rouge-2,Rouge-L这三个评价体系


关于理论部分，可以参考 这篇博客，写的很详细。

1.使用pip进行安装rouge

$ pip install rouge

2.计算Rouge的值

from rouge import Rouge
def rouge(a,b):
    rouge = Rouge()  
    rouge_score = rouge.get_scores(a,b
最低0.47元/天 解锁文章
小埋、
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Python自动摘要与文本摘录
吃不胖.
07-31 237
文本摘要是从大量文本中自动提取出来的，具有代表性的信息，以较短的文本形式呈现出来的过程。文本摘要和摘录技术可以自动从大量的文本中提取出重要的信息，为人们快速掌握信息提供了有效的途径。我们首先讨论了文本摘要和摘录的定义和概述，然后介绍了文本摘要和摘录的方法和技术。接下来，我们提供了基于Python的自动摘要和文本摘录的应用实例。文本摘录是将文本中某个部分摘出来，作为整个文本的代表，以简洁方式呈现文本的过程。本文将介绍Python自动摘要与文本摘录的相关技术，包括文本摘要和摘录的定义、方法、应用场景等方面。
Python-SumEval一个Python实现文本摘要评估框架
08-10
**Python-SumEval：Python实现的文本摘要评估框架** 在自然语言处理（NLP）领域，文本摘要是一项关键任务，其目标是通过提取关键信息，将长文本精简为更短、更精炼的形式，同时保留原文的主要内容。评估文本摘要的...
python学习-114-自动文本摘要Rouge评价体系实现(很简单)
热门推荐
流花飞羽的专栏
04-22 1万+
前言： 最近在研究短文本的自动摘要生成，在试验测试方面国内外研究学者普遍使用Rouge评价体系如 Rouge-1、Rouge-2、Rouge-L 今天我们就讲一下他的python实现。 你去百度搜索资料看到各种配置各种安装啊 如下：特别麻烦 其实不用这么麻烦 如果你只是单纯的使用Rouge-1、Rouge-2、Rouge-L这三个评价体系的话实现很简单 步骤1：使用pip安装r...
探索Pythonrouge：实现高效摘要评价的利器！
gitblog_00044的博客
06-06 183
探索Pythonrouge：实现高效摘要评价的利器！ 项目地址:https://gitcode.com/tagucci/pythonrouge 1、项目介绍 pythonrouge是一个简洁而强大的Python包装器，用于使用ROUGE（召回导向的评估汇总工具包）进行文本摘要效果的评估。这个开源项目使得开发者无需制作XML文件，即可轻松地对系统自动生成的摘要与参考摘要进行比较，并计算各类ROUGE...
python-Rouge_N-评估模型的实现
bensonrachel的博客
11-07 5044
引用：Rouge(Recall-Oriented Understudy for Gisting Evaluation)，是评估自动文摘以及机器翻译的一组指标。它通过将自动生成的摘要或翻译与一组参考摘要（通常是人工生成的）进行比较计算，得出相应的分值，以衡量自动生成的摘要或翻译与参考摘要之间的“相似度”。 ROUGE准则由一系列的评价方法组成，包括ROUGE-N(N=1、2、3、4，分别代表基于1...
【文本生成评价指标】 ROUGE原理及代码示例py
张某文_Lambda的博客
03-25 4359
代码演示了如何使用 Python 中的 rouge 库来计算生成文本和参考文本之间的 ROUGE 指标，以评估文本生成算法的质量。
文本摘要生成评价指标——rouge
世上再无张显宗
03-15 3438
文本摘要生成评价指标学习
NLP-文本摘要：Rouge评测方法【Rouge-1、Rouge-2、Rouge-L、Rouge-W、Rouge-S】
u013250861的博客
11-18 9950
《原始论文：Rouge: A package for automatic evaluation of summaries》 Rouge(Recall-Oriented Understudy for Gisting Evaluation)，是评估自动文摘以及机器翻译的一组指标。它通过将自动生成的摘要或翻译与一组参考摘要（通常是人工生成的）进行比较计算，得出相应的分值，以衡量自动生成的摘要或翻译与参考摘要之间的“相似度”。 一、Rouge-N（Rouge-1,Rouge-2） 1、公式 分母是参考摘要（人工摘
pyrouge：用于ROUGE摘要评估包的Python包装器
02-03
ROUGE是自动评估摘要质量的最常用方法之一，尤其在信息抽取、文本摘要和机器翻译等领域。 pyrouge是将原始的ROUGE工具包封装为Python接口的库，使得Python开发者能够更加便捷地在自己的程序中集成ROUGE评估功能。...
weibo-summary：微博自动摘要系统
02-05
自述文件新浪微博自动文摘系统给定微博话题数据集，从中筛选出前N（N> 0）条微博，作为话题摘要。问题实质：短文本多文档自动文摘。流程：数据-算法-评估-展现数据获取与预先：如何通过编写爬虫获取网站数据？摘要...
Python库 | summ_eval-0.20-py3-none-any.whl
03-24
1. **ROUGE**：这是最常用的自动摘要评估方法之一，主要通过计算参考摘要和生成摘要之间的n-gram重叠来评估相似度。ROUGE-L则特别考虑了序列的最长公共子序列，更适合于评估连贯性和流畅性。 2. **BLEU**：BLEU是...
ROUGE.tar.gz
12-18
ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一种自动评估文本摘要质量的工具，主要用于衡量机器生成的摘要与人工摘要之间的相似度。它广泛应用于自然语言处理（NLP）领域，尤其是文本摘要和机器...
ROUGE评估 计算两个生成文件的ROUGE数值
weixin_45247224的博客
07-05 429
rouge数值的计算
【深度学习】序列生成模型（六）：评价方法计算实例：计算ROUGE-N得分【理论到程序】
天地玄黄 魑魅魍魉 风花雪月 商角徵羽 暂时停更 十月重见
12-20 1456
本文介绍了如何手动计算ROUGE-N得分及其python实现
LLM - 大模型评估指标之 ROUGE
BITDDD小栈
08-18 3110
LLM 评价指标之 ROUGE SCORE。
[LLM评测/评价指标]用 Python 计算文本 BLEU 分数和 ROUGE 值
最新发布
人工智能曾小健
06-28 1153
文本生成是自然语言处理 (NLP) 中常见的一类任务，例如机器翻译、自动摘要、图片标题生成等等。如何评估生成文本的质量，或者说衡量生成文本与参考文本之间的差异，是一个必须考虑的问题。目前比较常见的评估方法就是计算 BLEUBLEU 分数和 ROUGEROUGE 值。
自动文摘评测方法：Rouge-L、Rouge-N
ding_programmer的博客
05-09 9290
Rouge-L 的初认识 本人参加百度机器阅读理解比赛，发现阅读理解比赛的评价标注，以Rouge-L为主，若 Rouge-L相同的 话，则看 BLEU-4。由此可见，Rough-L 作为自动文摘评测方法是特别有用的，接下来我讲解一下。 Rouge-L 论文： https://www.aclweb.org/anthology/W04-1013 BLEU-4 的学习，可以看我的另一篇博客，有助...
文本摘要的评测方法：Rouge-1, Rouge-2, Rouge-L, Rouge-S
m0_37531129的博客
10-29 4197
关于Rouge Rouge(Recall-Oriented Understudy for Gisting Evaluation)，是评估自动文摘以及机器翻译的一组指标，它通过将自动生成的摘要或翻译 与 一组参考摘要（通常是人工生成的）进行比较计算，得出相应的分值，以衡量自动生成的摘要或翻译与参考摘要之间的相似度。 Rouge-1,Rouge-2, Rouge-N Rouge-N 定义 分母是参考...
Rouge、Pyrouge安装及使用
qq_41623768的博客
08-04 1385
1、pip install rouge 2、代码： from rouge import Rouge import os rouge = Rouge() cand_path=r"F:\checkpoint\result\logcandidate" ref_path=r"F:\checkpoint\result\logreference" for i in range(11): cand_name="cand.%d.txt"%i ref_name="ref.%d.txt"%i
rouge-N python实现
03-25
我很抱歉，作为AI语言模型，我不能编写代码，但是我可以向您解释如何实现rouge-N计算。 Rouge-N是一种用于评估文本摘要生成质量的指标。Rouge-N计算的是生成的摘要中N元词组（N-grams）与参考摘要中的N元词组之间的重叠率，用于衡量生成的摘要是否涵盖了重要信息。 以下是构建Rouge-N计算的步骤： 1.首先，将参考摘要和生成的摘要分别拆分为N元词组（通常是单词）。可以使用Python中的NTLK库进行这项任务。 2.计算生成的摘要与参考摘要之间的N元词组重叠率。可以使用Python中的set（集合）来计算两个集合之间的交集。 3.重复步骤1和2，直到计算出不同N值（例如N = 1, 2, 3）的Rouge-N值。 下面是Rouge-N计算的Python示例代码： ```python import nltk def rouge_n(reference, summary, n): """ Calculates the Rouge-N score for a given reference summary and generated summary. """ reference_ngrams = nltk.ngrams(reference.split(), n) summary_ngrams = nltk.ngrams(summary.split(), n) reference_set = set(reference_ngrams) summary_set = set(summary_ngrams) overlap_count = len(reference_set.intersection(summary_set)) reference_count = len(reference_set) summary_count = len(summary_set) recall = overlap_count / reference_count precision = overlap_count / summary_count f1_score = 2 * ((precision * recall) / (precision + recall)) return recall, precision, f1_score # Example usage reference = "This is a reference summary." summary = "This is a generated summary." n = 2 recall, precision, f1 = rouge_n(reference, summary, n) print("Rouge-{} Recall: {:.2f}, Precision: {:.2f}, F1 Score: {:.2f}".format(n, recall, precision, f1)) ``` 希望这可以帮助您开始实现Rouge-N计算。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值