摘要抽取
Terry_dong
我只是个搬运工
展开
-
自动文摘评测方法:Rouge-1、Rouge-2、Rouge-L、Rouge-S 评测指标
前言最近在看自动文摘的论文,之前对Rouge评测略有了解,为了更好的理解Rouge评测原理,查了些资料,并简单总结。关于RougeRouge(Recall-Oriented Understudy for Gisting Evaluation),是评估自动文摘以及机器翻译的一组指标。它通过将自动生成的摘要或翻译与一组参考摘要(通常是人工生成的)进行比较计算,得出相应的分值,以衡量自动生成的摘要或翻译与参考摘要之间的“相似度”。Rouge-1、Rouge-2、Rouge-N论文[3]中对Ro原创 2020-07-06 14:24:17 · 3039 阅读 · 1 评论 -
submodular函数优化
几个月之前写了一篇文本摘要任务的一些总结(详见 文本自动摘要任务的初步总结),其中在说无监督方式做抽取式摘要的时候,参考了一篇论文:A Class of Submodular Functions for Document Summarization。最近在做业务新闻摘要的时候,基于当前无标注数据,准备应用该方法来做无监督的抽取式摘要。但是在实现的过程中,发现了很多之前忽略的细节问题,因此本篇作为上篇总结文章的补充,聚焦优化求解submodular函数的具体实现。前情回顾首先,简单回顾一下A Cla.原创 2020-06-22 11:17:43 · 1880 阅读 · 0 评论 -
文本自动摘要任务的初步总结
由于最近需要进行组内的知识分享,因而借此机会将文本摘要的一些基本知识以及本人的一些实践经验做成文稿,一方面用来组内分享,一方面也是总结一下过去在该领域的一些心得体会。因个人的能力所限,本文实质上是对文本摘要的不完全总结,如有未能囊括的知识点,还请同学们多提意见,一起进步。本文将从以下几点介绍文本摘要任务的相关内容。从整体上对文本摘要任务做一个大致的介绍,包括任务分类,评测方式等。 介绍抽取式自动摘要的内容。这也是之前我主要研究实践的领域。 介绍生成式自动摘要的内容,这里主要介绍经典的seq2se原创 2020-06-22 10:55:54 · 1492 阅读 · 0 评论 -
摘要抽取算法——最大边界相关算法MMR(Maximal Marginal Relevance) 实践
NLP(自然语言处理)领域一个特别重要的任务叫做——文本摘要自动生成。此任务的主要目的是快速的抽取出一篇文章的主要内容,这样读者就能够通过最少的文字,了解到文章最要想表达的内容。由于抽取出来的摘要表达出了文章最主要的含义,所以在做长文本分类任务时,我们可以采用文本摘要算法将长文本的摘要抽取出来,在采用短文本分类模型去做文本分类,有时会起到出奇的好效果。文本摘要自动生成算法文本摘要抽取算法主要分为两大类:一种是生成式:生成式一般采用的是监督式学习算法,最常见的就是sequence2sequence原创 2020-06-22 10:35:42 · 1649 阅读 · 0 评论