NLP任务数据集汇总

最新推荐文章于 2024-10-03 23:53:54 发布
最新推荐文章于 2024-10-03 23:53:54 发布
阅读量895 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangxiaosu0501/article/details/104187805
版权

一、机器翻译：

1、WMT系列：http://www.statmt.org

 

二、文本分类：

1、中文：

2、英文：

 

三、中文分词：

1、词典：

（1）搜狗实验室发布的互联网词库（SogouW，15w词条）www.sogou.com/labs/resource/w.php

（2）清华大学开放中文词库（THUOCL）thuocl.thunlp.org

（3）HanLP发布的词库（千万级）www.hankcs.coom/nlp/corpus

wangxiaosu
关注
中文文本分类项目数据集.rar
08-06
“复旦大学计算机信息与技术国际数据库中心自然语言处理小组”提供的小样本中文文本分类语料，分为训练集和测试集两部分。内容真实有效
深度学习数据集资源汇总
01-17
接着，"21个深度学习开源数据集分类汇总.pdf"是一个综合性的资源，包含了多个领域的数据集，如自然语言处理、图像识别、语音识别等。这些数据集对于开发和测试深度学习模型至关重要，比如ImageNet用于图像分类，...
国内外深度学习开放数据集下载集合(值得收藏，不断更新)
热门推荐
空空说技术的博客
05-08 1万+
国内外深度学习开放数据集下载集合(值得收藏，不断更新) 一、Image processing data set 1、MNIST ，是最流行的深度学习数据集之一。这是一个手写数字数据集，包含一个有着 60000 样本的训练集和一个有着 10000 样本的测试集。对于在现实世界数据上尝试学习技术和深度识别模式而言，这是一个非常好的数据库，且无需花费过多时间和精力进行数据预处理。 大小：约 50 ...
NLP任务一些常用的数据集集锦——包含简介和详细内容
qq_44117805的博客
10-03 948
Shakespeare文本数据集包含莎士比亚的作品，常用于文本生成任务，尤其是生成与莎士比亚风格相似的文本。CoNLL 2003是一个标准的数据集，用于命名实体识别任务，包含对新闻文章中人名、地点和组织的标注。SQuAD是一个用于问答系统的热门数据集，包含大量的问答对，旨在促进自然语言处理中的问答研究。SNLI是一个用于文本蕴涵任务的标准数据集，旨在研究句子之间的关系，如蕴涵、对立或中立。Multi30k是一个用于机器翻译的多语言数据集，提供图像的描述文本，并翻译为多种语言。
【NLP】自然语言处理任务数据标注利器——doccano
让算法融入生活，改变生活！
06-17 2897
有时我们需要从0-1地去做一项NLP任务，如文本分类，实体识别等。从0开始意味着我们需要自己去标注数据。抛开现在的技术如Zero / Few-shot Learning以及主动学习先不说。我们先考虑找到一个高效的标注数据工具，就是本文的主角——doccano.doccano 是一个供人类使用的开源文本注释工具。它为文本分类、序列标记和序列到序列任务提供注释功能。因此，您可以为情感分析、命名实体识别、文本摘要等创建标记数据。只需创建一个项目，上传数据并开始注释。您可以在数小时内构建数据集。 该项目在gith
NLP（三十四）使用keras-bert实现序列标注任务
山阴少年
12-26 6303
  对于不同的NLP任务，使用BERT等预训练模型进行微调无疑是使用它们的最佳方式。在网上已经有不少的项目，或者使用TensorFlow，或者使用Keras，或者使用PyTorch对BERT进行微调。本系列文章将致力于应用keras-bert对BERT进行微调，完成基础的NLP任务，比如文本多分类、文本多标签分类以及序列标注等。   keras-bert是Python的第三方模块，它方便我们使用Keras来调用BERT，借助几行代码就可以轻松地完成模型构建，能依据不同的文本任务进行模型训练，获得不错的效果。
NLP(15)-序列标注任务
njh1147394013的博客
05-14 487
序列标注任务，添加标点
NLP基础任务—序列标注任务
毕业作品网站
05-13 2511
一、思路 本次要完成 nlp 四大基础任务之一的序列标注任务，也叫做命名实体识别。即是在给定文本中能够对词性、人名地名等特定信息进行标注。 实验主要采用循环神经网络进行搭建，每一条样本输入是一条句子（对应的嵌入向量表示），该样本的标签也是一个等长的句子标签，其中每一个元素对应句子中每一个字的标签。如样本为‘我 爱 北 京’，则该样本的标签为‘O O B-LOC I-LOC’。然后通过循环神经网络再结合交叉熵损失函数进行训练。但根据课上所学知识，我们知道直接用 LSTM 虽然可以完成该任务，但是往往会预测出现
深度学习/机器学习/数据集资源汇总.zip
09-18
深度学习是一种模拟人脑神经网络结构的计算模型，它依赖于大量的标注或未标注数据来训练模型，以实现图像识别、语音识别、自然语言处理等复杂任务。常用的数据集如ImageNet用于图像分类，MNIST和CIFAR-10则常用于...
常用机器学习与数据分析开源数据集汇总.txt
最新发布
10-07
每个网站都提供了详细的网址以及简介，涵盖了许多领域如图像识别、自然语言处理、时间序列分析等，适用于各类机器学习和数据科学研究项目的实施。 适用人群：机器学习研究人员、数据科学家以及对大数据感兴趣的...
数据集汇总数据集汇总数据集汇总
03-14
- **Apache Mahout**：提供免费和付费的语料库，适用于自然语言处理和机器学习任务。 - **EDRM Enron Email Data Set v2**：用于电子邮件分析和信息提取，特别是企业通信研究。 - **ClueWeb09**：信息检索和相关...
文本情感二分类-数据集
03-26
文本情感二分类
【深度学习数据集】新闻文本分类数据集（50000条）
10-12
50000条新闻文本数据集，文本有9类。可用于文本分类模型训练。
数据集—基于TF NMT利用带有Attention的 ED模型训练、测试(中英文平行语料库)实现将英文翻译为中文的LSTM翻译(中英文平行语料库)训练数据集
02-25
数据集—基于TF NMT利用带有Attention的 ED模型训练、测试(中英文平行语料库)实现将英文翻译为中文的LSTM翻译(中英文平行语料库)训练数据集—train
搜狗实验室词典
03-07
词库比较全，可以用于基于机械分词的小型中文分词系统
NLP汉语自然语言处理原理与实战
06-15
自然语言处理大体是从1950年代开始，虽然更早期也有作为。1950年，图灵发表论文“计算机器与智能”，提出现在所谓的“图灵测试”作为判断智能的条件。 1954年的乔治城实验涉及全部自动翻译超过60句俄文成为英文。研究人员声称三到五年之内即可解决机器翻译的问题。[1]不过实际进展远低于预期，1966年的ALPAC报告发现十年研究未达预期目标，机器翻译的研究经费遭到大幅削减。一直到1980年代末期，统计机器翻译系统发展出来，机器翻译的研究才得以更上一层楼。 1960年代发展特别成功的NLP系统包括SHRDLU——一个词汇设限、运作于受限如“积木世界”的一种自然语言系统，以及1964-1966年约瑟夫·维森鲍姆模拟“个人中心治疗”而设计的ELIZA——几乎未运用人类思想和感情的讯息，有时候却能呈现令人讶异地类似人之间的互动。“病人”提出的问题超出ELIZA 极小的知识范围之时，可能会得到空泛的回答。例如问题是“我的头痛”，回答是“为什么说你头痛？
开源数据集资源汇总 数据集下载汇总
04-18
3. **行业应用**：企业利用开源数据集进行产品开发，例如语音识别、图像识别、自然语言处理等，从而快速构建原型并优化解决方案。 二、数据集类型及应用场景 1. **图像数据集**：如COCO（Common Objects in ...
NLP学习的超棒网站
升级迭代
08-21 703
我爱自然语言处理 https://www.52nlp.cn/ NLP-progress: 在各项NLP任务上的排行榜 https://github.com/sebastianruder/NLP-progress paper with code： https://paperswithcode.com/
语音翻译任务常用数据集介绍
2301_78524903的博客
04-14 724
此外，随着技术的不断进步和新的数据资源的出现，语音翻译任务的数据集也在不断更新和扩展。尽管它主要用于语音识别任务，但由于其丰富的语言种类和大规模的数据量，Common Voice也可以作为语音翻译任务的有益补充。：虽然LibriSpeech主要用于语音识别任务，但由于其庞大的英文语音数据规模，它也可以作为语音翻译任务的辅助数据集。尽管它主要关注语音到文本的翻译，但其中的语音数据对于语音翻译任务同样具有价值。语音翻译任务常用的数据集包括多种类型，它们提供了丰富的语音和翻译资源，用于训练和优化语音翻译模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值