70+个NLP语料库数据集

已于 2022-02-08 16:17:18 修改
阅读量5.1k 收藏 70
点赞数 4
文章标签： 自然语言处理 人工智能 nlp
于 2022-02-08 13:01:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qazwsxpy/article/details/122821053
版权

TED演讲数据集
女性用户网购服装反馈数据集
新闻类别数据集
中华古诗数据集
中文敏感词库
人民日报文章数据集(1979-2010)
人民日报文章数据集(1949-1978)
1998人民日报标注语料库（PFR）
知乎大厂offer热门问题
金融行业问答数据集
知乎拼多多热门问题数据集
英文语句文本数据集
英文歌词数据集
英文作文写作文本数据
中国对联数据集
sentiment140情感分析数据集
2016-2019新闻联播语料库
6000条周杰伦微博超话数据！
新型冠状病毒🦠🦠COVID-19相关标签的推文数据集
【首发】TibetanMNIST藏文手写数字数据集
中文谣言语料库
基金评论数据
COVID-19医学对话数据集
中文对话数据集
word2vec中文词向量数据集
中文百科类问答json版数据集
医学信息提取数据集
社会偏见推断语料库
复旦大学中文文本分类语料库
THUCNews新闻文本分类数据集
7K条携程酒店评论数据
2014人民日报标注语料库（PFR）
网易云精彩评论数据集
2万条中文金融新闻数据集
LCSTS短文本新闻摘要数据库
B站 bilibili流行动漫影评数据
电商女装评论数据集
中文新闻数据集
6万多条中文电商评论数据
社区问答数据集
京东迪奥口红的商品评论数据集
IMDB电影评论数据
微博谣言以及其转发评论
中文姓名语料库
CNN/DailyMail新闻数据集
电影对白数据集（聊天机器人）
《中餐厅3》19W弹幕数据
中文对话情绪语料
网易新闻语料库
百度知道问答数据集
市场资讯新闻数据集
淘宝客服对话数据集
辉瑞新冠🦠疫苗💉推文 数据集
Yelp（美国的大众点评）评论数据集
500万条微博语料
Amazon食品评论数据
维基百科中文语料库
鬼吹灯豆瓣短评数据集
1946年-2003年人民日报 新闻语料库
中文阅读理解数据集
丁香园论坛疫情讨论数据
瑞金医院糖尿病数据集
保险行业语料库
搜狗全网新闻数据(SogouCA)
Reddit上WallStreetBets（WSB）社区帖子数据
8K条保险行业问答中文数据
播客评论数据集
台达阅读理解资料集
PubMedQA生物医学研究问题解答数据集
安然（Enron）内部邮件数据集
字频数据
纽约时报评论数据集
eICU电子病历官方Demo数据集
350篇互联网文章数据集
中医药古籍文本数据集
中文突发事件语料库
中文医疗对话数据集

qazwsxpy
关注
  • 4
    点赞
  • 踩
  • 70
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
NLP算法相关各行业中文词库.zip
12-15
NLP分析必备词库之一，可以看看，各种行业的词库都有
收藏丨20个中文语料数据集，含数学考试、公务员考题、医患对话等
OpenDataLab的博客
04-17 2859
Math23K 是为解决数学单词问题而创建的数据集，包含从互联网上爬取的 23,162 个中文问题。
医疗NLP相关数据集整理
热门推荐
zenRRan的博客
09-20 1万+
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要5分钟跟随小博主，每天进步一丢丢整理：python遇见NLP在Github上搜索整理了一波关于医疗NLP的数据集： 1 中文评测数据...
基于LMDB电影影评数据集进行情感分类
weixin_44822196的博客
03-05 1138
lsdb影评数据集文本分类，介绍如何构造词频表，数据预处理，训练等，包括停用词整理，源码
A Large-Scale Chinese Short-Text Conversation Dataset
Facico的博客
08-01 1385
A Large-Scale Chinese Short-Text Conversation Dataset 大型中文短文本对话数据集 提供已清洗中文对话数据集LCCC，有base、large版本 所有模型和数据https://github.com/thu-coai/CDial-GPT 数据集 采用了推特、Reddit、微博以及技术论坛等社交媒体来建立语料库。 公开的资源语料库非常丰富的，但也包含了许多噪音点，这些噪音点需要处理。 通过众包资源来构建高质量的对话数据集，服务于更高级的对话任务 如维基
2018-01-01至2019-05-31百度关键词词库热门词库
10-11
2018-01-01至2019-05-31百度关键词热门百度的词库，csv版本，数据太大，wps打开时，数据不全，可使用文本编辑器打开
【对话生成】常见对话生成数据集整理，含下载链接(更新至2022.06.04)
陈艺荣
09-02 9561
本文主要整理对话生成领域相关的数据集，尤其是开放域对话生成。当前可以把开放域对话生成任务划分为：传统开放域对话生成、多模态对话生成、情感对话生成、个性化对话生成、策略控制对话生成等。笔者的划分是根据自己对该任务研究进展梳理而得到的理解，并不一定合理。 年份 数据集简称 语言 模态 单轮/多轮 对话(Dialog)个数 句子(Utterance)数 角色(Speaker)数 ...
nlp知识点总结（上）
m0_59989429的博客
12-31 948
nlp基础知识，介绍了什么是语料库和语言，讲解了中文分词中的一些基本模型和算法，并对隐马尔科夫模型做了较为详细的讲解
NLP-对话聊天机器人
猫敷雪
08-28 2800
课程来在七月在线的自动聊天机器人项目班 课程是2017年出来的，现在看除了一些基本的NLP理论知识，对机器人的理解和工业开发上已经有了很大的改变。 如果对NLP和聊天机器人感兴趣的同学可以可以看看本篇笔记，我会在后面加上一些现在比较前言的知识和实战。 Github：https://github.com/AnTi-anti/chat_bot 第一课 聊天机器人的基础模型与综述 第一课PPT：点我 课程代码：点我 第二课 NLP基础及扫盲 主要内容： NLTK 语料库–corpus 文本处理流程
有关Hanlp自然语言语料库调用异常
默主归沙的博客
03-21 3750
下面有我报的错误和代码参考。 1.路径名： ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 4 times, most recent failure: Lost task 0.3 in stage 1.0 (TID 4, qianfeng01, exe
资源MIT发布的10大自然语言处理数据集和语料库
07-11
资源MIT发布的10大自然语言处理数据集和语料库
北大中文《人民日报》199801-199806数据集.rar
11-03
PFR人民日报标注语料库(版本1.0，下面简称PFR语料库)是在得到人民日报社新闻信息中心许可的条件下，以1998年人民日报语料为对象，由北京大学计算语言学研究所和富士通研究开发中心有限公司共同制作的标注语料库。为了促进中文信息处理研究的发展，他们三方计划公开PFR语料库。作为公开的前期工作，从4月3日起，在他们三方的主页上免费公开PFR语料库1月份的语料，欢迎大家下载。PFR语料库的制作规范参阅《现代汉语语料库加工――词语切分与词性标注规范》。如果您在研究或论文工作中使用PFR语料库，请注明来源
中文 NLP 语料库数据集.zip
11-10
中文 NLP 语料库数据集.zip
刚果民主共和国新闻语料库数据集
最新发布
02-18
刚果民主共和国新闻语料库数据集 数据说明： “刚果民主共和国新闻语料库”是一个精选的来自主要媒体的新闻文章集合，涵盖了与Congo民主共和国(DRC)相关的广泛主题。这个数据集包含了各种各样的新闻故事，包括但不...
斯坦福自然语言推理（SNLI）语料库-数据集
03-19
SNLI语料库（1.0版）是一个570k人工编写的英语句子对的集合，这些句子对经过...数据集来自斯坦福自然语言处理小组 。 斯坦福自然语言推理（SNLI）语料库_datasets.txt 斯坦福自然语言推理（SNLI）语料库_datasets.zip
TED 平行语料库数据集
07-08
TED平行语料库是多语言平行语料库，包括多语言并行语料库和单语语料库。从TED会议www.ted.com 提取109种... 多语言的平行语料库包括 12 种语言超过1.2亿 个对齐句子并进行了句子对齐。 所有的预处理都是自动完成。
自然语言处理语料库标注集以及符号说明
12-09
花费大量时间搜集的自然语言处理语料库标注集，包括词性标注集、命名实体识别BIO标注、中文组块分析chunk标记。
人民日报2014语料库 自然语言处理训练集
12-01
人民日报标注语料有1998年1-6月以及2014年版本，这个是2014年的标注预料版本，可以用来训练词性标注、分词模型、实体识别模型。
跨语言自然语言推理语料库.zip
07-06
跨语言自然语言推理语料库数据集
如何导入自然语言语料库
06-08
导入自然语言语料库的步骤通常如下： 1. 确定所需的语料库：选择适合您的应用程序的语料库。例如，如果您正在开发一款英语学习应用程序，则可以选择一个包含英语文本的语料库。 2. 下载语料库：从相应的网站或其他资源中下载语料库。通常，语料库以文本文件或XML格式提供。您可以使用Python库（如nltk、gensim等）来下载和处理语料库。 3. 清理和处理语料库：语料库通常需要进行清理和处理，以便将其转换为适合分析的格式。例如，您可能需要删除标点符号、停用词、数字等。 4. 将语料库转换为模型可用的格式：根据您的需求，您可能需要将语料库转换为模型可用的格式。例如，如果您正在训练一个主题模型，则需要将语料库转换为词袋模型或向量空间模型。 5. 加载语料库：使用Python库将语料库加载到内存中，以便进行分析和处理。例如，您可以使用nltk库中的语料库模块来加载语料库。 6. 分析和处理语料库：使用Python库和算法对语料库进行分析和处理。例如，您可以使用nltk库中的分词器、词形还原器和词性标注器来处理语料库。 7. 训练模型：使用处理过的语料库来训练您的模型。例如，您可以使用gensim库中的主题模型算法来训练主题模型。 8. 评估模型：使用测试数据集来评估您的模型的性能。 9. 应用模型：将训练好的模型应用于实际应用程序中，例如文本分类、情感分析、机器翻译等。 需要注意的是，每个语料库都有其特定的格式、内容和处理需求。因此，在导入语料库之前，需要仔细阅读相应的文档并了解其特征。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值