NLP领域中文对话系统数据集总结（有下载地址）

一、豆瓣多轮对话数据集

1、简介：

测试数据包含 1000 个对话上下文，对于每个上下文，创建 10 个响应作为候选。正确的响应意味着响应可以自然地回复给定上下文的消息。每对收到三个标签，大多数标签被视为最终决定。

2、数据格式：

标签 \t 对话话语（由 \t 分割）\t 响应

3、下载

https://github.com/MarkWuNLP/MultiTurnResponseSelection

二、KdConv

1、清华 ACL 2020 论文：https://arxiv.org/abs/2004.04100

2、简介：KdConv是中文多领域知识驱动对话数据集。KdConv 包含来自三个领域（电影、音乐和旅行）的4.5K对话和86K话语，平均轮数为19.0。这些对话包含对相关主题的深入讨论和多个主题之间的自然过渡，同时语料库还可以用于探索迁移学习和领域适应。

3、下载：

https://github.com/thu-coai/KdConv

三、zhdd

1、简介：

• zhddline: 中文对话数据集, 从 DailyDialog 数据集翻译而来（基于搜狗翻译API），短文本。

• zhdd: zhddline的会话版，每一个会话被拼接为一个文档，长文本。共有12336个文档。.

• 

  涉及领域：日常生活的各种话题

2、下载链接

https://github.com/zll17/Neural_Topic_Models#datasets

四、2018-2019年京东对话挑战赛数据集

京东对话挑战赛对话数据集主要是客服对话数据

1、2018年

数据集说明：

(1).原训练语料, path：data/chat.txt

(2).数据清洗之后的训练语料：train.enc、train.dec、test.enc、test.dec

(3).测试模型数据，测试问题test.txt和输出结果result.txt，path：data/test/

2、2019年：

数据各字段属性的解释 (1)会话编号：每个会话都会有唯一的编号，可以以此区分会话。 (2)顾客ID：每位顾客都会有唯一的ID，已脱敏。 (3)SKU：商品的编号。每个商品都有唯一的编号。若SKU的值为NULL，则表示该会话不涉及具体商品

数据的规模 开发集和测试集均包含52个会话。

3、下载：

2018年：https://github.com/SimonJYang/JDDC-Baseline-Seq2Seq

2019年：https://github.com/EndlessLethe/jddc2019-3th-retrieve-model

五、淘宝客服对话数据

又名：E-commerical Conversation Corpus

1、简介：

电子商务对话语料库，包括基于检索的聊天机器人的训练数据集、开发集和测试集。电子商务会话语料库统计如下表所示。

2、数据格式：

跟豆瓣多轮对话数据集一样

3、下载：

https://github.com/cooelf/DeepUtteranceAggregation

六、chatterbot-corpus-chinese

1、简介：

ChatterBot Corpus 中包含的数据文件使用YAML语法进行格式化。按类型领域分类，质量较高。

涉及领域：历史、电影、食物等十几种类型，每一类型一个yml文件

缺点：每一类型的对话数量很少

2、下载：

https://github.com/gunthercox/chatterbot-corpus/tree/master/chatterbot_corpus/data/chinese

七、天池中文医疗数据集CMDD

1、简介：

本数据集CMDD由好大夫和圣地亚哥大学提供。可基于数据集进行学习、科学研究

2、下载：

https://tianchi.aliyun.com/dataset/dataDetail?dataId=92110b

八、天池中文医疗数据集Toyhom

1、简介

中文医疗对话数据集由792099个问答对组成。 本数据集共有6个文件，包括男科、内科、妇产科、肿瘤科、儿科和外科。

2、下载：

Chinese Medical Dialogue Dataset 中文医疗对话数据集_数据集-阿里云天池

九、Ubuntu对话语料库

1、简介：

Ubuntu对话语料库包括从Ubuntu聊天记录中提取的近一百万个两人对话，用于获得针对与Ubuntu相关的各种问题的技术支持。每次对话平均8轮，至少3轮。所有对话均以文本形式（而非音频）进行。

完整的数据集包含93万个对话和超过1亿个单词。该数据集包含分布在.csv文件中的该数据集的样本。该数据集包含超过2.69亿个单词的文本，分布超过了2600万圈。

2、下载：

Ubuntu对话语料库 2600万次自然的两人对话_数据集-阿里云天池

十、百度DuConv

1、简介

训练集样例数量	开发集样例数量	测试集样例数量	单／多轮	领域
19858	2000	5000	多轮	电影、明星

2、下载：

https://github.com/Cindy-xdZhang/ACL-duconv

3、论文：

Proactive Human-Machine Conversation with Explicit Conversation Goals

十一、百度DuRecDial

1、简介：

DuRecDial包含多种类型的对话(推荐对话、闲聊、任务导向对话和QA)，来自7个领域(电影、明星、音乐、新闻、食物、poi和天气)的10.2k对话，以及156K个utterances。

2、下载：

https://baidu-nlp.bj.bcebos.com/DuRecDial.zip

3、论文：

https://arxiv.org/pdf/2005.03954.pdf

十二、清华LCCC

1、简介：

所提供的数据集LCCC(Large-scale Cleaned Chinese Conversation)主要包含两部分: LCCC-base 和 LCCC-large，属于开放域对话数据集。

2、下载：

https://github.com/thu-coai/CDial-GPT

十三、PTT 中文語料

1、简介：

台湾PTT论坛繁体字八卦版，单轮对话，文本噪声比较大。

有两份数据：Gossiping-QA-Dataset.txt 和 Gossiping-QA-Dataset-2_0.csv

2、下载：

https://github.com/zake7749/Gossiping-Chinese-Corpus

十四、Subtitle Corpus

1、简介：

电视剧对白语料，来自爬取的电影和美剧的字幕。有一些噪音，对白不一定是严谨的对话，原本是多轮（平均5.3轮）。

2、下载：

https://github.com/aceimnorstuvwxz/dgk_lost_conv

十五、青云语料库

1、简介：

来源于聊天机器人交流群。开放域。12万条对话。

2、下载：

https://drive.google.com/file/d/1So-m83NdUHexfjJ912rQ4GItdLvnmJMD/view?usp=sharing

十六、weibo微博语料

1、简介：

来自华为的paper，443W条对话。

2、下载：

https://drive.google.com/file/d/1So-m83NdUHexfjJ912rQ4GItdLvnmJMD/view?usp=sharing

十七、贴吧论坛回帖语料

1、简介：

来源于贴吧论坛回帖，是多轮对话数据集。存在有噪音。

2、下载：

https://github.com/codemayq/chinese_chatbot_corpus

十八、腾讯NaturalConv

1、简介：

NaturalConv是腾讯2021年发布的中文对话数据集，是基于话题驱动的中文对话生成，它更接近于类人对话，具有自然属性，包括场景假设、自由话题扩展、问候等。它更接近于类人对话，具有自然属性，包括场景假设、自由话题扩展、问候语等完整的自然环境。它包含约400K语句和19.9K对话，涉及多个领域（包括但不限于体育、娱乐、科技）。平均轮数为20，明显长于其他语料库。

2、下载：

Dialogue Research-Tencent AI Lab

3、论文：

https://arxiv.org/pdf/2103.02548.pdf

十九、Crosswoz数据集

1、简介：

2020年由清华大学人工智能研究院发布的CrossWOZ包含 6K 个对话，102K 个句子，涉及 5 个领域（景点、酒店、餐馆、地铁、出租）。平均每个对话涉及 3.2 个领域，远超之前的多领域对话数据集，增添了对话管理的难度。

截至2020年，是第一个大规模中文对话数据集。可以用于研究任务型对话系统中各个方面，比如NLU、DST、对话策略学习、NLG都可以，也可以用于对话上下文补全的研究。

2、论文：知乎 - 安全中心

3、下载：

https://github.com/thu-coai/CrossWOZ