Python自动文本摘要Rouge-N的实现

最新推荐文章于 2024-06-06 09:37:52 发布
最新推荐文章于 2024-06-06 09:37:52 发布
阅读量2k 收藏 14
点赞数 1
分类专栏： NLP 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Herbe_chanceux/article/details/109014733
版权

本文只适用于简单的使用Rouge-1, Rouge-2,Rouge-L这三个评价体系


关于理论部分，可以参考 这篇博客，写的很详细。

1.使用pip进行安装rouge

$ pip install rouge

2.计算Rouge的值

from rouge import Rouge
def rouge(a,b):
    rouge = Rouge()  
    rouge_score = rouge.get_scores(a,b
最低0.47元/天 解锁文章
小埋、
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Python自动摘要与文本摘录
吃不胖.
07-31 216
文本摘要是从大量文本中自动提取出来的，具有代表性的信息，以较短的文本形式呈现出来的过程。文本摘要和摘录技术可以自动从大量的文本中提取出重要的信息，为人们快速掌握信息提供了有效的途径。我们首先讨论了文本摘要和摘录的定义和概述，然后介绍了文本摘要和摘录的方法和技术。接下来，我们提供了基于Python的自动摘要和文本摘录的应用实例。文本摘录是将文本中某个部分摘出来，作为整个文本的代表，以简洁方式呈现文本的过程。本文将介绍Python自动摘要与文本摘录的相关技术，包括文本摘要和摘录的定义、方法、应用场景等方面。
Install Rouge and Pyrouge for python 2.7 (conda virtual env) on Linux 64
Xia Qiaolin - CSDN
08-23 2503
Install Rouge and Pyrouge Step 1: Create a new conda virtual env conda create -n py27env python=2.7 pip source activate py27env # use " source deactivate" to deactivate the env
python-Rouge_N-评估模型的实现
bensonrachel的博客
11-07 5039
引用：Rouge(Recall-Oriented Understudy for Gisting Evaluation)，是评估自动文摘以及机器翻译的一组指标。它通过将自动生成的摘要或翻译与一组参考摘要（通常是人工生成的）进行比较计算，得出相应的分值，以衡量自动生成的摘要或翻译与参考摘要之间的“相似度”。 ROUGE准则由一系列的评价方法组成，包括ROUGE-N(N=1、2、3、4，分别代表基于1...
【python】测试中文文本的Rouge-1、Rouge-2、Rouge-L的值
weixin_44729515的博客
05-10 403
解决问题：测试中文文本的rouge值，用于评估大模型的性能。
使用Python自动提取内容摘要
dechen6073的博客
11-20 316
https://www.biaodianfu.com/automatic-text-summarizer.html 利用计算机将大量的文本进行处理，产生简洁、精炼内容的过程就是文本摘要，人们可通过阅读摘要来把握文本主要内容，这不仅大大节省时间，更提高阅读效率。但人工摘要耗时又耗力，已不能满足日益增长的信息需求，因此借助计算机进行文本处理的自动文摘应运而生。近年来，自动摘要、信息检索、信...
【NLP】文本摘要评价指标：ROUGE-N
zkq_1986的博客
10-10 6295
文本摘要评价指标ROUGE-N的公式如下： 简单地说，参考的摘要的n-gram类似于待检索项，生成的摘要的n-gram类似于检索出的项，然后计算下召回率。
python学习-114-自动文本摘要Rouge评价体系实现(很简单)
热门推荐
流花飞羽的专栏
04-22 1万+
前言： 最近在研究短文本的自动摘要生成，在试验测试方面国内外研究学者普遍使用Rouge评价体系如 Rouge-1、Rouge-2、Rouge-L 今天我们就讲一下他的python实现。 你去百度搜索资料看到各种配置各种安装啊 如下：特别麻烦 其实不用这么麻烦 如果你只是单纯的使用Rouge-1、Rouge-2、Rouge-L这三个评价体系的话实现很简单 步骤1：使用pip安装r...
Python-SumEval一个Python实现文本摘要评估框架
08-10
**Python-SumEval：Python实现的文本摘要评估框架** 在自然语言处理（NLP）领域，文本摘要是一项关键任务，其目标是通过提取关键信息，将长文本精简为更短、更精炼的形式，同时保留原文的主要内容。评估文本摘要的...
pyrouge：用于ROUGE摘要评估包的Python包装器
02-03
ROUGE是自动评估摘要质量的最常用方法之一，尤其在信息抽取、文本摘要和机器翻译等领域。 pyrouge是将原始的ROUGE工具包封装为Python接口的库，使得Python开发者能够更加便捷地在自己的程序中集成ROUGE评估功能。...
weibo-summary：微博自动摘要系统
02-05
自述文件新浪微博自动文摘系统给定微博话题数据集，从中筛选出前N（N> 0）条微博，作为话题摘要。问题实质：短文本多文档自动文摘。流程：数据-算法-评估-展现数据获取与预先：如何通过编写爬虫获取网站数据？摘要...
Python库 | summ_eval-0.20-py3-none-any.whl
03-24
1. **ROUGE**：这是最常用的自动摘要评估方法之一，主要通过计算参考摘要和生成摘要之间的n-gram重叠来评估相似度。ROUGE-L则特别考虑了序列的最长公共子序列，更适合于评估连贯性和流畅性。 2. **BLEU**：BLEU是...
pythonrouge：用于通过ROUGE包评估汇总质量的Python包装器
02-17
pythonrouge 这是使用ROUGE（汇总评估工具包）的python包装器。 在此实现中，您可以评估各种ROUGE指标。 您现在可以使用参考摘要评估系统摘要。 不必像一般的ROUGE包中那样制作xml文件。 但是，如果将系统摘要和参考摘要保存在特定目录中，则可以以标准方式评估ROUGE分数。 在文档摘要研究中，大多数情况下使用ROUGE度量的召回率或F度量。 因此，为方便起见，您可以选择召回率或F量度，也可以选择ROUGE评估结果的这两种。 欢迎任何反馈或意见。 安装 您可以通过两种方式安装pythonrouge # not using pip git clone https://github.com/tagucci/pythonrouge.git python setup.py install # using pip pip install git+https://gith
ROUGE-2.0：ROUGE自动摘要评估工具包。 支持ROUGE- [N，L，S，SU]，不同语言的词干和停用词，unicode文本评估，CSV输出
02-03
ROUGE 2.0 ROUGE 2.0是用于自动汇总任务的易于使用的评估工具包。 它使用度量标准系统，该系统通过将自动生成的摘要或翻译与一组参考摘要（通常是人为生成的）进行比较来工作。 ROUGE是计算自动生成的摘要的有效性的标准方法之一。 要了解ROUGE的工作原理，请。 产品特点 最新版本的ROUGE 2.0支持以下功能： 评估ROUGE-N（字母，二元组，三元组等） 评估ROUGE-L（总水平LCS） 对ROUGE-S和ROUGE-SU的评估（带有单字的跳字和跳字） 一次性评估多个ROUGE指标 不同语言的词干 使用可自定义的停用词删除停用词 unicode文本的评估（例如波斯
ROUGE.tar.gz
12-18
ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一种自动评估文本摘要质量的工具，主要用于衡量机器生成的摘要与人工摘要之间的相似度。它广泛应用于自然语言处理（NLP）领域，尤其是文本摘要和机器...
python通过rouge-chinese库实现中文Rouge评价指标（超简单）
Isaac_Chen_的博客
09-19 4351
专用于计算中文rouge指标的python库
常用的ROUGE得分计算Python库（pyrouge,files2rouge,rouge,py-rouge)
sdauguanweihong的博客
02-13 8745
前言 ROUGE得分是文本摘要任务中最常用的自动评测指标，关于rouge得分的计算，可以查看原始论文 https://www.aclweb.org/anthology/W04-1013.pdf 要注意一般来说，摘要中包含多个句子，直接把多个句子拼接在一起计算ROUGE得分可能是不准确的，具体可以参考论文中的3.2部分，实际上应该具体考虑摘要中的每个句子。 在实际实验中，处于便利和效率的考虑，我们一般不会手动去实现rouge指标，通常会使用一些第三方的库。在看源码的过程中，我发现比较常用的rouge计算库有三
探索Pythonrouge：实现高效摘要评价的利器！
最新发布
gitblog_00044的博客
06-06 161
探索Pythonrouge：实现高效摘要评价的利器！ 项目地址:https://gitcode.com/tagucci/pythonrouge 1、项目介绍 pythonrouge是一个简洁而强大的Python包装器，用于使用ROUGE（召回导向的评估汇总工具包）进行文本摘要效果的评估。这个开源项目使得开发者无需制作XML文件，即可轻松地对系统自动生成的摘要与参考摘要进行比较，并计算各类ROUGE...
自动文摘评测方法：Rouge-L、Rouge-N
ding_programmer的博客
05-09 8940
Rouge-L 的初认识 本人参加百度机器阅读理解比赛，发现阅读理解比赛的评价标注，以Rouge-L为主，若 Rouge-L相同的 话，则看 BLEU-4。由此可见，Rough-L 作为自动文摘评测方法是特别有用的，接下来我讲解一下。 Rouge-L 论文： https://www.aclweb.org/anthology/W04-1013 BLEU-4 的学习，可以看我的另一篇博客，有助...
rouge-N python实现
03-25
我很抱歉，作为AI语言模型，我不能编写代码，但是我可以向您解释如何实现rouge-N计算。 Rouge-N是一种用于评估文本摘要生成质量的指标。Rouge-N计算的是生成的摘要中N元词组（N-grams）与参考摘要中的N元词组之间的重叠率，用于衡量生成的摘要是否涵盖了重要信息。 以下是构建Rouge-N计算的步骤： 1.首先，将参考摘要和生成的摘要分别拆分为N元词组（通常是单词）。可以使用Python中的NTLK库进行这项任务。 2.计算生成的摘要与参考摘要之间的N元词组重叠率。可以使用Python中的set（集合）来计算两个集合之间的交集。 3.重复步骤1和2，直到计算出不同N值（例如N = 1, 2, 3）的Rouge-N值。 下面是Rouge-N计算的Python示例代码： ```python import nltk def rouge_n(reference, summary, n): """ Calculates the Rouge-N score for a given reference summary and generated summary. """ reference_ngrams = nltk.ngrams(reference.split(), n) summary_ngrams = nltk.ngrams(summary.split(), n) reference_set = set(reference_ngrams) summary_set = set(summary_ngrams) overlap_count = len(reference_set.intersection(summary_set)) reference_count = len(reference_set) summary_count = len(summary_set) recall = overlap_count / reference_count precision = overlap_count / summary_count f1_score = 2 * ((precision * recall) / (precision + recall)) return recall, precision, f1_score # Example usage reference = "This is a reference summary." summary = "This is a generated summary." n = 2 recall, precision, f1 = rouge_n(reference, summary, n) print("Rouge-{} Recall: {:.2f}, Precision: {:.2f}, F1 Score: {:.2f}".format(n, recall, precision, f1)) ``` 希望这可以帮助您开始实现Rouge-N计算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值