对话摘要数据集整理

SAMSUM:

闲聊对话领域最重要的数据集,主要来自于社交软件,主要是书写的,而不是口语化的

数据规模:

在这里插入图片描述
大部分对话(75%)包含两个说话人,其余包含多个说话人

示例:

在这里插入图片描述

baseline+实验结果

在这里插入图片描述

CSDS

论文链接:

https://arxiv.org/abs/2108.13139

数据集链接:

https://github.com/xiaolinAndy/CSDS

数据集介绍:

这是一个中文的客服对话摘要数据集,主要有两个特点,第一个特点是可以针对每个角色都会生成一个摘要,客服对话中包含两个角色,用户和客服,从用户和客服角度出发,可以得到不同的摘要,用户角度的摘要可以反映用户常见的问题,客服角度的摘要可以反映客服的质量。第二个特点是可以针对不同话题生成不同的摘要,用户关注的点不同,得到的摘要也不同。
下图给出了数据集的一个说明,包含两个角色,Q代表用户的问题,A代表客服的回答。这里有两个话题,物流全程跟踪和物流周期,针对每个话题,都有三种摘要,用户角度的摘要,客服角度的摘要,总的摘要
同时,注意到,每个utterance里有一部分字体加粗,代表关键语句,该数据集标注了关键语句,关键语句有利于提升摘要效果。
在这里插入图片描述

数据集规模

在这里插入图片描述

baseline结果

在这里插入图片描述
这里给出了baseline的实验结果,在官方的github中也给出了baseline的实现代码

MediaSum

论文链接

https://arxiv.org/abs/2103.06410

数据集介绍

这是一个媒体采访摘要数据集,数据来源于CNN和NPR,主要是电视和广播采访的数据,相比其他的对话摘要数据集,数据规模很大,大约有40多万数据,数据较长,包含很多的说话人和话题。这个数据集非常适合用来做对话摘要任务的迁移学习。

数据集统计

在这里插入图片描述

baseline结果

在这里插入图片描述

数据集链接:

https://github.com/zcgzcgzcg1/MediaSum

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
# 说明 该库是对目前市面上已有的开源中文聊天语料的搜集和系统化整理工作 该库搜集了包含 - chatterbot - 豆瓣多轮 - PTT八卦语料 - 青云语料 - 电视剧对白语料 - 贴吧论坛回帖语料 - 微博语料 - 小黄鸡语料 共8个公开闲聊常用语料和短信,白鹭时代问答等语料。 并对8个常见语料的数据进行了统一化规整和处理,达到直接可以粗略使用的目的。 **使用该项目,即可对所有的聊天语料进行一次性的处理和统一下载,不需要到处自己去搜集下载和分别处理各种不同的格式。* # 环境 python3 # 处理过程 将各个来源的语料按照其原格式进行提取,提取后进行繁体字转换,然后统一变成一轮一轮的对话。 # 使用方法 将解压后的raw_chat_corpus文件夹放到当前目录下 目录结构为 ``` raw_chat_corpus -- language -- process_pipelines -- raw_chat_corpus ---- chatterbot-1k ---- douban-multiturn-100w ---- .... -- main.py -- ... ``` 执行命令即可 ```bash python main.py ``` 或者 ```bash python3 main.py ``` # 生成结果 每个来源的语料分别生成一个独立的*.tsv文件,都放在新生成的clean_chat_corpus文件夹下。 生成结果格式为 tsv格式,每行是一个样本,先是query,再是answer ``` query \t answer ``` # 结果的使用 这个就根据每个人不同的情况自主使用即可 个人对于聊天机器人方向实践也不是很多,以下一篇之前写的知乎专栏供参考 **《从产品完整性的角度浅谈chatbot》** 文章粗略讲解了如下一些方面,介绍了聊天机器人在实际产品化过程中可能遇到的问题和解决办法。 1. chatbot自身人格的设置 1. 产品上线需要考虑的敏感词处理 1. 文本检索模型的使用 1. 文本生成模型的使用 1. 回答打分机制 1. 万能回答的使用策略 1. 多媒体消息的处理 1. 产品模型部署的问题 # 版权说明 本项目为非商业项目,为纯搜集和汇总资料,如有侵权,请在issue下留言。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值