New York Times Corpus 介绍 （未完待续）

最新推荐文章于 2024-04-07 04:15:00 发布
最新推荐文章于 2024-04-07 04:15:00 发布
阅读量1.9k 收藏 1
点赞数 1
分类专栏： Information Retrieval
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39922520/article/details/102306286
版权

nyt语料库介绍

文件夹结构

New York Times 文件夹里一共有9个文件，其中有4个文件夹，5个文件，内容如下

文件种类 文件个数 文件内容
文件夹 4个 data（数据), docs（文档), dtd（定义xml文件), tools（java使用工具）
py文件 1个 创建一个表, 索引时间
.html文件 1个 说明
.txt文件 1个 说明数据集的范围，缺省13个文件
.sh执行文件 1个 解压缩文件
.db文件 1个 数据库的一个表，由上面.py文件创建

New York Time 语料库的描述：

语料库

  • 1.8 million的文章
  • 超过650k手动编写的文章摘要
  • 超过1.5 million 的人工标记的文章，标记包括 人物，地点，组织，标题
最低0.47元/天 解锁文章
Yogitql
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
NYT数据集，官网编号LDC2008T19
2301_78524903的博客
04-12 359
NYT（New York Times）数据集是一个广泛使用的用于自然语言处理（NLP）研究的数据集，它由纽约时报（The New York Times）的文章组成。NYT数据集中的文章以XML格式进行组织，每篇文章都包含了标题、作者、发布日期、正文内容等信息。此外，数据集还提供了文章的分类标签、实体标注和关系标注等附加信息，这些信息可用于各种NLP任务，如文本分类、实体识别、关系抽取等。它包含了新闻报道、特稿、评论、社论等各种类型的文章。这些文章涵盖了广泛的主题，包括政治、经济、科技、文化、娱乐等。
New York Times Comments-数据集
03-18
数据包含有关在2017年1月5日和2018年1月4日在《纽约时报》上发表的文章的评论的信息。按月提供的数据分为两个csv文件-每个文件用于发表评论的文章，评论本身。csv用于评论的文件总共包含 200万条评论，具有34项功能，而用于文章的文件则包含16项功能，约9,000篇文章。 ArticlesApril2018.csv ArticlesApril2017.csv ArticlesFeb2017.csv ArticlesFeb2018.csv ArticlesJan2017.csv ArticlesJan2018.csv ArticlesMarch2017.csv ArticlesMarch2018.csv ArticlesMay2017.csv CommentsApril2017.csv CommentsApril2018.csv CommentsFeb2017.csv CommentsJan2018.csv CommentsFeb2018.csv CommentsJan2017.csv CommentsMarch2017.csv CommentsMarch2018.csv CommentsMay2017.csv
NLP-文本摘要：数据集介绍及预处理【CNN/DM（偏抽取式）、NYT Annotated Corpus（偏抽取式）、Newsroom（抽取式+生成式）、XSum（抽取式/BBC）、XL-Sum】
热门推荐
u013250861的博客
10-29 1万+
论文《Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond》第一次提出。 训练集中的源文档平均有766个单词，共29.74句，而摘要由53个单词和3.72句组成。【The source documents in the train- ing set have 766 words spanning 29.74 sentences on an average while the summaries consist of
NYT（New York Times）Dataset for Distant Supervision Relation Extraction
03-20
我们提供NYT数据集，该数据集一共包含233081实体对，由FreeBase对齐，关系数量为57（如果使用53关系的可自行过滤多余的关系及句子）。
NYT-10数据获取（1.74G）
ccutyear的博客
09-26 3276
前言 本文大多数内容均copy于来自知乎 一、NYT-10是什么？ NYT-10数据发布于Riedel et al, 2010这篇论文中，其文本来源于纽约时报New York Times所标注的语料，命名实体是通过 Stanford NER 工具并结合 Freebase 知识库进行标注的。命名实体对之间的关系是链接和参考外部的Freebase知识库中的关系，结合远监督方法所得到的。 二、数据下载 1.OpenNRE 数据可直接从这一链接中进行下载：https://github.com/thunlp/Ope
论文阅读课11-TEMPROB：Improving Temporal Relation Extraction with a Globally Acquired Statistical Resource
weixin_40485502的博客
02-28 635
时间关系抽取（之前，之后，重叠等）是理解以自然语言描述的事件的关键方面。我们认为，这项任务将得益于资源的可用性，该资源以事件通常遵循的时间顺序的形式提供先验知识。本文通过从20年来（1987年至2007年）的《纽约时报》（NYT）文章中提取事件之间的时间关系，来开发这种资源（在新闻领域中获得的概率知识库）。我们表明可以通过此资源改进现有的时间提取系统。作为副产品，我们还显示可以从该资源中检索有趣的统计信息，这可能会有益于其他时间感知任务。拟议的系统和资源均可公开获得
DLXEmu-Corpus
02-09
《DLXEmu-Corpus：深入理解与应用》 DLXEmu-Corpus 是一个专注于计算机系统模拟和仿真领域的资源集合，尤其涉及到DLX指令集架构的模拟器及其相关文档。DLX是由David A. Patterson教授设计的一个简化版的RISC（精简...
chatterbot-corpus:多语言对话语料库
04-12
创建或复制现有的.yml文件，然后将该文件放入您在chatterbot_corpus\data\<NEW>下创建的现有目录或新目录中，并使用任何您想使用的文本编辑器编辑该文件。 在文件的开头，您可以设置一个或两个类别。 categori
digits_train.zip_corpus_speech corpus
09-24
《语音识别演讲语料库——digits_train.zip_corpus_speech corpus详解》 在信息技术领域，语音识别是一项关键的技术，它使得机器能够理解并转化人类的口头语言。为了实现这一目标，研究者们需要大量的数据来训练...
Corpus
05-11
Corpus parallel_corpus_dict: 平行语料相关字典 'simple_jp_zh_proper_noun.txt': 专有词表, 用于平行句判断。 'kanji_hanzi_list.txt': 中日汉字对照表 zh_dict: strokes.txt: (unihan对应的)笔画数, 只有按...
关系抽取NYT数据集（BIO格式）.zip
01-23
本资源是关系抽取公开数据集NYT，已经转成BIO格式，可直接用于端到端的关系抽取训练。
nyt数据集-公开数据集
05-10
nyt数据集，是一个公开数据集，可以用来进行关系抽取。
New-York-Times-Dataset-Analysis:使用 Hadoop 和 MongoDB 进行数据分析
06-02
包括项目报告。 文件名称： Project_Report_NYTimes_Analysis.pdf ＃安装说明 所有安装都以root用户身份进行 1. Install Hadoop on all the nodes as specified in the Instructions document provided in the class. Set all the masters and slaves. **Note: The Java version has to be 8. Otherwise, this project will not run** 2. Increase the JVM heap space to 4GB. In /usr/lib/hadoop/libexec/hadoop-config.sh, set JAVA_HEAP_MAX=-Xmx4096m. Th
English Corpus
03-04
English Corpus Linguistics An Introduction - Charles F. Meyer
大语言模型常见任务及评测数据集汇总（二）：90个数据集！
最新发布
zengzizi的博客
04-07 749
1. 命名实体识别（NER） CoNLL 2003：这是一个广泛使用的英文NER数据集，包含了多个领域的文本，如新闻、财经和政治。它识别四种类型的实体：人名、地名、组织名和其它专有名词。 ACE (Automatic Content Extraction)：ACE数据集是一个多语种的数据集，包含了英语、阿拉伯语和汉语等，它识别的实体类型更为丰富，包括人名、地名、组织名、时间表达式、数量表达式等。 OntoNotes：这是一个大规模的英文数据集，包含了多种类型的文本，如新闻、对话和文本文档。它识别的实体
关系抽取数据集介绍
devil_son1234的博客
07-02 3512
最近由于实验需要，收集整理了关系抽取方向的数据集，主要包括SemEval、Wiki80、NYT10。目前来说全监督的关系抽取任务一般在SemEval上做，远程监督的关系抽取任务一般在NYT10上做。 SemEval 数据集来源 SemEval数据集来自于2010年的国际语义评测大会中Task 8:” Multi-Way Classification of Semantic Relations Between Pairs of Nominals “ 数据集介绍 任务：对于给定了的句子和两个做了标注的
Wikipedia corpus英文语料处理，获得原文
sigmeta的博客
06-10 4520
我们在预训练word vector或其他预训练任务时，需要大量的语料数据，Wikipedia开放了英文语料，大约11G：wiki英文语料下载链接 该语料库是.bz2格式，但是不能直接解压，需要使用工具处理，我们介绍两种常用的处理工具，gensim和wikiextractor。 Gensim gensim提供了处理工具，但是只能够获得文章的词列表，丢失了段落句子以及标点符号。 from ...
请介绍一下 vocabentry.from_corpus的用法
06-13
`vocabentry.from_corpus` 是一个用于创建词汇表的函数，其用法如下： ```python from transformers import GPT2Tokenizer, VocabEntry tokenizer = GPT2Tokenizer.from_pretrained('gpt2') vocab_entry = VocabEntry.from_corpus(tokenizer.get_vocab(), tokenizer.eos_token, tokenizer.pad_token, tokenizer.unk_token) ``` 它的参数包括： - `corpus`：表示输入的语料库，通常是一个包含大量文本的列表； - `eos_token`：表示句子结束的特殊标记； - `pad_token`：表示填充的特殊标记； - `unk_token`：表示未知词的特殊标记。 `vocabentry.from_corpus` 函数的作用是将输入的语料库转化为一个词汇表，其中包含了语料库中出现过的所有词语，每个词语都被分配了一个唯一的整数编号。这个词汇表可以被用于训练和评估自然语言处理模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值