NLP任务数据集汇总

最新推荐文章于 2024-07-17 10:09:16 发布
最新推荐文章于 2024-07-17 10:09:16 发布
阅读量866 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangxiaosu0501/article/details/104187805
版权

一、机器翻译：

1、WMT系列：http://www.statmt.org

 

二、文本分类：

1、中文：

2、英文：

 

三、中文分词：

1、词典：

（1）搜狗实验室发布的互联网词库（SogouW，15w词条）www.sogou.com/labs/resource/w.php

（2）清华大学开放中文词库（THUOCL）thuocl.thunlp.org

（3）HanLP发布的词库（千万级）www.hankcs.coom/nlp/corpus

wangxiaosu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NLP 数据集整理(持续更新。。。)
Nicoder的专栏
11-27 2万+
用于NLP实验的各类免费英文语料数据库整理如下：（在很多问题中，是不分语种的）Semantic SimilarityWordSim3531：包括353个词对，用于对词之间的语义相似度排序。语义相似度性能通常用两个词矢量之间的余弦距离表示。TOEFL2：包括80个同义词多选一问题，每个问题有4个候选，要求选出最接近的词。例如对于levied,有imposed(correct),believed,req
NLP TASK1 数据集探索
hongyesuifeng的博客
05-12 867
NLP TASK 1 数据集探索 数据集：THUCNews（中）、IMDB数据集（英） IMDB数据探索 任务描述 本次任务主要使用IMBD数据集继续二分类任务，数据含有50000条的影评数据，包括正面（1）和负面（0）的评价标签，实验使用Tensorflow中的tf.keras来进行分类任务。 任务过程详述 tensorflow 版本查看 import tensorflow as tf from...
中文文本分类项目数据集.rar
08-06
“复旦大学计算机信息与技术国际数据库中心自然语言处理小组”提供的小样本中文文本分类语料，分为训练集和测试集两部分。内容真实有效
【NLP】自然语言处理任务数据标注利器——doccano
让算法融入生活，改变生活！
06-17 2844
有时我们需要从0-1地去做一项NLP任务，如文本分类，实体识别等。从0开始意味着我们需要自己去标注数据。抛开现在的技术如Zero / Few-shot Learning以及主动学习先不说。我们先考虑找到一个高效的标注数据工具，就是本文的主角——doccano.doccano 是一个供人类使用的开源文本注释工具。它为文本分类、序列标记和序列到序列任务提供注释功能。因此，您可以为情感分析、命名实体识别、文本摘要等创建标记数据。只需创建一个项目，上传数据并开始注释。您可以在数小时内构建数据集。 该项目在gith
NLP篇7 自然语言处理：命名实体识别
最新发布
bluewelkin的专栏
07-17 344
常见的自然语言处理推理任务包括文本分类、情感分析、命名实体识别、信息抽取、问答系统等。在进行推理时，通常会使用预先训练好的模型，并根据具体任务进行微调或直接应用。在自然语言处理中，推理是基于已有的模型和知识对输入的自然语言文本进行分析和理解，以得出有意义的结论或输出。这些数据集为研究和开发自然语言处理推理模型提供了基准和评估标准，有助于推动该领域的发展和进步。对于自然语言处理推理，合适的数据集至关重要。
NLP（三十四）使用keras-bert实现序列标注任务
山阴少年
12-26 6177
  对于不同的NLP任务，使用BERT等预训练模型进行微调无疑是使用它们的最佳方式。在网上已经有不少的项目，或者使用TensorFlow，或者使用Keras，或者使用PyTorch对BERT进行微调。本系列文章将致力于应用keras-bert对BERT进行微调，完成基础的NLP任务，比如文本多分类、文本多标签分类以及序列标注等。   keras-bert是Python的第三方模块，它方便我们使用Keras来调用BERT，借助几行代码就可以轻松地完成模型构建，能依据不同的文本任务进行模型训练，获得不错的效果。
NLP(15)-序列标注任务
njh1147394013的博客
05-14 443
序列标注任务，添加标点
NLP基础任务—序列标注任务
毕业作品网站
05-13 2481
一、思路 本次要完成 nlp 四大基础任务之一的序列标注任务，也叫做命名实体识别。即是在给定文本中能够对词性、人名地名等特定信息进行标注。 实验主要采用循环神经网络进行搭建，每一条样本输入是一条句子（对应的嵌入向量表示），该样本的标签也是一个等长的句子标签，其中每一个元素对应句子中每一个字的标签。如样本为‘我 爱 北 京’，则该样本的标签为‘O O B-LOC I-LOC’。然后通过循环神经网络再结合交叉熵损失函数进行训练。但根据课上所学知识，我们知道直接用 LSTM 虽然可以完成该任务，但是往往会预测出现
数据集汇总数据集汇总数据集汇总
03-14
- **Apache Mahout**：提供免费和付费的语料库，适用于自然语言处理和机器学习任务。 - **EDRM Enron Email Data Set v2**：用于电子邮件分析和信息提取，特别是企业通信研究。 - **ClueWeb09**：信息检索和相关...
深度学习数据集资源汇总
01-17
接着，"21个深度学习开源数据集分类汇总.pdf"是一个综合性的资源，包含了多个领域的数据集，如自然语言处理、图像识别、语音识别等。这些数据集对于开发和测试深度学习模型至关重要，比如ImageNet用于图像分类，...
深度学习/机器学习/数据集资源汇总.zip
09-18
深度学习是一种模拟人脑神经网络结构的计算模型，它依赖于大量的标注或未标注数据来训练模型，以实现图像识别、语音识别、自然语言处理等复杂任务。常用的数据集如ImageNet用于图像分类，MNIST和CIFAR-10则常用于...
文本情感二分类-数据集
03-26
文本情感二分类
【深度学习数据集】新闻文本分类数据集（50000条）
10-12
50000条新闻文本数据集，文本有9类。可用于文本分类模型训练。
数据集—基于TF NMT利用带有Attention的 ED模型训练、测试(中英文平行语料库)实现将英文翻译为中文的LSTM翻译(中英文平行语料库)训练数据集
02-25
数据集—基于TF NMT利用带有Attention的 ED模型训练、测试(中英文平行语料库)实现将英文翻译为中文的LSTM翻译(中英文平行语料库)训练数据集—train
NLP小白入门——超全中文文本分类系统（含训练及测试数据集）
04-08
NLP小白入门——超全中文文本分类系统（train set & test set + stop word*4 + word2vec + TF-IDF + Naive Bayes）
中文分词数据集.zip
02-28
分词数据集，用于训练一个用来分词的模型。详细看压缩包里的内容。
开源数据集资源汇总 数据集下载汇总
04-18
3. **行业应用**：企业利用开源数据集进行产品开发，例如语音识别、图像识别、自然语言处理等，从而快速构建原型并优化解决方案。 二、数据集类型及应用场景 1. **图像数据集**：如COCO（Common Objects in ...
千言数据集：情感分析 数据集汇总
06-13
千言数据集是针对中文情感分析任务而设计的一系列数据集合，它为研究者和开发者提供了丰富的资源，以便训练和评估自然语言处理（NLP）模型。情感分析是NLP领域的一个重要课题，旨在确定文本中的主观信息和情绪倾向，...
NLP学习的超棒网站
升级迭代
08-21 669
我爱自然语言处理 https://www.52nlp.cn/ NLP-progress: 在各项NLP任务上的排行榜 https://github.com/sebastianruder/NLP-progress paper with code： https://paperswithcode.com/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值