文本摘要常用数据集和方法研究综述

最新推荐文章于 2024-04-14 00:09:50 发布
最新推荐文章于 2024-04-14 00:09:50 发布
阅读量4.7k 收藏 27
点赞数 5
分类专栏： NLP自然语言处理 文章标签： 自然语言处理 文本摘要 数据集 文本摘要方法

[1]侯圣峦,张书涵,费超群.文本摘要常用数据集和方法研究综述[J].中文信息学报,2019,33(05):1-16.

文章目录


在这里插入图片描述

为了解决抽取式摘要方法缺少训练数据的问题，已有方法通常将用于生成式文本摘要的数据集进行简单转换，例如， Cheng等【参考文献6】将CNN/ Daily Mail数据集中的每篇文本中句子与生成式摘要句计算匹配度，匹配度较高的句子作为抽取式摘要句，构成抽取式摘要方法的数据集。

数据集Gigaword、 CNN/ Daily mail、 LASTS等都是十万级规模，可满足深度神经网络训练的需求。

LCSTS

LCSTS（large scale Chinese short text summa rization dataset）链接：http://icrc.hitsz,educn/article/Show/139.html. 是【23—Hu B Chen Q, Zhu F. LCSTS:A large scale Chinese short text summarization dataset】从新浪微博获取的短文本新闻摘要数据库，规模超过200万。

在这里插入图片描述

随着微博等社交媒体软件的普及，部分工作提出了面向社交媒体文本的文本摘要

最低0.47元/天 解锁文章
锅巴QAQ
关注
  • 5
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
中文短文本摘要数据集
hfrommane的博客
01-26 1636
背景 由于目前没有公开的免费的中文短文本摘要数据集，正好在之前的项目中有收集过这样的数据。现在把之前整理的数据公开，所有人都可以免费下载使用，希望能成为一个有用的中文短文本摘要数据集。 英文名称 Chinese Short Text Summarization Dataset 收集方式 数据来源于新浪微博主流媒体发布的微博。 例如： 如上的三条微博所示中，红框中的文本作为短文本的摘要，其他的内容作为短文本的内容。 数据量 在这个版本中，一共 679898 条数据，分为两个文件： 文件名称 说明
搜狗新闻的自动文本摘要的数据集
12-25
想要学习自动摘要的数据集，可以从这进行下载。里面有生成好的自动摘要
文本摘要任务常用数据集介绍
最新发布
2301_78524903的博客
04-14 392
例如，New York Times数据集适合用于需要高质量人工摘要的场景，而CNN/Daily Mail和Gigaword数据集则更适合用于训练生成式摘要系统。：这是一个广泛使用的多句摘要数据集，常用于训练“生成式”摘要系统。该数据集为文本摘要任务提供了高质量的人工摘要作为参考标准。在选择数据集时，研究者应根据具体的研究目标、任务需求和语言特点来进行选择，并结合实际情况进行适当的数据预处理工作，以提高模型的性能和准确率。：该数据集的摘要由文章的第一句话和标题结合启发式规则构成。
文本摘要数据集的整理、总结及介绍（持续更新ing...）
诸神缄默不语的博客
02-17 1万+
本文系对文本摘要（text summarization）任务的数据集进行整理、总结及介绍的博文。
对话摘要数据集整理
sdauguanweihong的博客
12-05 1865
SAMSUM： 闲聊对话领域最重要的数据集，主要来自于社交软件，主要是书写的，而不是口语化的 数据规模： 大部分对话(75%)包含两个说话人,其余包含多个说话人 示例： baseline+实验结果
NLP-文本摘要：数据集介绍及预处理【CNN/DM（偏抽取式）、NYT Annotated Corpus（偏抽取式）、Newsroom（抽取式+生成式）、XSum（抽取式/BBC）、XL-Sum】
热门推荐
u013250861的博客
10-29 1万+
论文《Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond》第一次提出。 训练集中的源文档平均有766个单词，共29.74句，而摘要由53个单词和3.72句组成。【The source documents in the train- ing set have 766 words spanning 29.74 sentences on an average while the summaries consist of
做论文常用中文摘要数据集
daotianweng的博客
03-29 2544
(1)短文本 1）哈工大LCSTS (2)中等长度 1）NLPCC2017的单文档新闻测试集合TTNews 2）NLPCC2021的字节跳动CNew_sum (3)长文本 1）NLPCC2020的CLTS，但该数据集并不好很差，大量摘要为正文摘抄抽取。
文本摘要 CNN/DailyMail 原始数据集
04-15
文本摘要 CNN/DailyMail 原始数据集。 压缩包内含 cnn_stories.tgz 和 dailymail_stories.tgz 。 可用于抽取式摘要（Extractive Summarization）任务以及生成式摘要（Abstractive Summarization）旨在方便国内的研究...
中文文本情感分析案例和数据集
07-08
中文文本情感分析案例 课程配套程序 该文件夹是本次课程配套的程序，打来即可使用 课后作业数据集 为大家课后作业的数据集，可以在该数据集上进行相关训练 test.tsv为测试数据集，测试模型准确度 train.tsv为训练...
中文-长文本-摘要-数据集
02-22
1. 中文数据集 2. 长文本数据集 3. 摘要生成、摘要抽取任务数据集
BBC新闻摘要数据集.zip
02-14
自然语言处理数据集，想预览内容可私信作者
DeepMind Q&A Dataset: CNN/Daily Mail Stories 文本摘要数据集 百度云
04-07
DeepMind Q&A Dataset: CNN/Daily Mail Stories 文本摘要数据集 百度云 https://cs.nyu.edu/~kcho/DMQA/
New-Pytorch-Chinese:中文文本摘要，基于pytorch，采用LCSTS数据集
05-18
基于Pytorch的中文文本摘要生成 开这个仓库的主要目的是记录一下自己实验过程和数据。 参考文本摘要领域大佬写的两篇论文： and ，然后参考另一位大佬修改的代码. 另外，在这里还是要感谢一下。这里的所有内容基本上没做什么修改（python读取文件的时候出现编码问题，我的猜想是大佬用的mac系统，类linux，所以对编码不敏感，我用windows的话就报错了。），最多修改了一下超参数，刚开始在自己windows笔记本上跑的话，确实有点吃力，设置的batch_size=10,好像后来还直接报cuda错误，我的猜想就是设置过大了，显存承受不了。说多了。直接看训练和测试效果吧。 实验结果 指标 验证集 测试集 ROUGE-1 34.06 31.87 ROUGE-2 16.46 15.47 ROUGE-L 33.83 30.93 0. 数据预处理 下载(提取码：g8c6 )，下载完之后放在根目
中文文本摘要生成
12-13
中文自动文摘，基于jieba分词，全Java代码。给定文本输出自定义长度的文摘。
中文摘要LCSTS下载链接.txt
05-10
中文的摘要数据集本来就少的可怜，除了LCSTS，NLPCC 2017 。LCSTS是短文本的数据集，比较权威的数据集，需要的小伙伴可以下载。
LCSTS中文数据集解析与处理
07-05
train.src （训练集的输入（短文本）） train.tgt （训练集的输出（摘要）） test.src （测试集的输入（短文本）） test.tgt （测试集的输出（摘要）） vaild.src （验证集的输入（短文本）） vaild.tgt （验证集的输出（摘要））
SmoothNLP 金融文本数据集
06-15
SmoothNLP 金融文本数据集(公开)|Public Financial Datasets for NLP Researches API接口服务 推荐研究方向 Embedding (Word2Vec, Bert, 等) 实体识别 - NER 无监督聚类: 基于企业描述信息, 进行竞品聚类 企业行业...
BART中文摘要生成，(nplcc与LCSTS数据集)
daotianweng的博客
10-29 1万+
from ipywidgets import IntProgress import tqdm from datasets import load_dataset import lawrouge import datasets import random import pandas as pd from datasets import dataset_dict import datasets from IPython.display import display, HTML from transfor.
【论文笔记】QBSUM: 基于查找的文本摘要数据集
weixin_41846419的博客
06-24 791
QBSUM: a Large-Scale Query-Based Document Summarization Dataset from Real-world Applications基于查询的文档摘要旨在提取或生成直接回答或与搜索查询相关的文档的摘要。这是一项重要的技术，可以有益于各种应用程序，例如搜索引擎、文档级机器阅读理解和聊天机器人。目前，为基于查询的摘要设计的数据集数量不足，现有数据集的规模和质量也有限。此外，据我们所知，没有公开可用的基于中文查询的文档摘要数据集。在本文中，我们提出了 QBSUM
对THUCNews数据集进行文本分类的研究背景
06-08
对 THUCNews 数据集进行文本分类的研究背景主要是基于以下几个方面： 1. 大规模文本数据集的出现：随着互联网的普及，海量的文本数据逐渐积累起来。这些数据可以应用于文本分类、情感分析、信息抽取等自然语言处理任务中，从而提高模型的性能和效果。 2. 自然语言处理技术的发展：随着深度学习技术的发展，自然语言处理领域的研究也取得了显著进展。特别是在文本分类任务中，深度学习模型已经成为了主流技术，并取得了很好的效果。 3. 中文文本分类任务的需求：中文文本分类任务是自然语言处理领域中的一个重要任务。在新闻分类、情感分析、广告推荐等领域中，中文文本分类任务被广泛应用。而 THUCNews 数据集是一个典型的中文文本分类数据集，对于研究人员来说具有很高的参考价值。 因此，对 THUCNews 数据集进行文本分类的研究具有很高的研究价值。通过对该数据集进行深入研究，可以探索出更加有效的自然语言处理技术和算法，为中文文本分类任务的实践应用提供更好的支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值