对话系统语料

机器学习尤其是深度学习在训练的时候需要大量的预料,下面介绍一个可以扩展预料的方法。

举个例子,对机器说一句:我想听有声读物。

这样类似的说法有很对,如:播放有声读物,帮我打开一下有声读物,请打开下有声读物。。。。


[我想|帮我|请](播[放]|打开)[一下|下]{app_name.有声读物|抖音}

我们用这样一个模块可以展开成下面72个意思相近的句子:

我想播一下[有声读物].(app_name)
我想播一下[抖音].(app_name)
我想播下[有声读物].(app_name)
我想播下[抖音].(app_name)
我想播放一下[有声读物].(app_name)
我想播放一下[抖音].(app_name)
我想播放下[有声读物].(app_name)
我想播放下[抖音].(app_name)
我想打开一下[有声读物].(app_name)
我想打开一下[抖音].(app_name)
我想打开下[有声读物].(app_name)
我想打开下[抖音].(app_name)
帮我播一下[有声读物].(app_name)
帮我播一下[抖音].(app_name)
帮我播下[有声读物].(app_name)
帮我播下[抖音].(app_name)
帮我播放一下[有声读物].(app_name)
帮我播放一下[抖音].(app_name)
帮我播放下[有声读物].(app_name)
帮我播放下[抖音].(app_name)
帮我打开一下[有声读物].(app_name)
帮我打开一下[抖音].(app_name)
帮我打开下[有声读物].(app_name)
帮我打开下[抖音].(app_name)
请播一下[有声读物].(app_name)
请播一下[抖音].(app_name)
请播下[有声读物].(app_name)
请播下[抖音].(app_name)
请播放一下[有声读物].(app_name)
请播放一下[抖音].(app_name)
请播放下[有声读物].(app_name)
请播放下[抖音].(app_name)
请打开一下[有声读物].(app_name)
请打开一下[抖音].(app_name)
请打开下[有声读物].(app_name)
请打开下[抖音].(app_name)
播一下[有声读物].(app_name)
播一下[抖音].(app_name)
播下[有声读物].(app_name)
播下[抖音].(app_name)
播放一下[有声读物].(app_name)
播放一下[抖音].(app_name)
播放下[有声读物].(app_name)
播放下[抖音].(app_name)
打开一下[有声读物].(app_name)
打开一下[抖音].(app_name)
打开下[有声读物].(app_name)
打开下[抖音].(app_name)
我想播[有声读物].(app_name)
我想播[抖音].(app_name)
我想播放[有声读物].(app_name)
我想播放[抖音].(app_name)
我想打开[有声读物].(app_name)
我想打开[抖音].(app_name)
帮我播[有声读物].(app_name)
帮我播[抖音].(app_name)
帮我播放[有声读物].(app_name)
帮我播放[抖音].(app_name)
帮我打开[有声读物].(app_name)
帮我打开[抖音].(app_name)
请播[有声读物].(app_name)
请播[抖音].(app_name)
请播放[有声读物].(app_name)
请播放[抖音].(app_name)
请打开[有声读物].(app_name)
请打开[抖音].(app_name)
播[有声读物].(app_name)
播[抖音].(app_name)
播放[有声读物].(app_name)
播放[抖音].(app_name)
打开[有声读物].(app_name)
打开[抖音].(app_name)

模版的规则是:

1.在"[]"里的内容是可有可无。

2.在"()"里的内容一定要有的

3."|"代表或的关系

4."{}"里面分别表示slot-key,slot-value

例如,[我想|帮我|请],展开后为“我想”或“帮我”或“请”或“none”(规则1,3)

(播[放]|打开),展开后为”播放“或“播”或“打开”(规则1,2,3)

{app_name.有声读物|抖音},展开后为“[有声读物].(app_name)或[抖音].(app_name)”,app_name表示slot-key,有声读物表示slot-value(规则3,4)

注意展开后的括号只是为了界定slot-key和slot-value的

最好把它们组合成一起。

代码实现戳这里




  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
# 说明 该库是对目前市面上已有的开源中文聊天语料的搜集和系统化整理工作 该库搜集了包含 - chatterbot - 豆瓣多轮 - PTT八卦语料 - 青云语料 - 电视剧对白语料 - 贴吧论坛回帖语料 - 微博语料 - 小黄鸡语料 共8个公开闲聊常用语料和短信,白鹭时代问答等语料。 并对8个常见语料的数据进行了统一化规整和处理,达到直接可以粗略使用的目的。 **使用该项目,即可对所有的聊天语料进行一次性的处理和统一下载,不需要到处自己去搜集下载和分别处理各种不同的格式。* # 环境 python3 # 处理过程 将各个来源的语料按照其原格式进行提取,提取后进行繁体字转换,然后统一变成一轮一轮的对话。 # 使用方法 将解压后的raw_chat_corpus文件夹放到当前目录下 目录结构为 ``` raw_chat_corpus -- language -- process_pipelines -- raw_chat_corpus ---- chatterbot-1k ---- douban-multiturn-100w ---- .... -- main.py -- ... ``` 执行命令即可 ```bash python main.py ``` 或者 ```bash python3 main.py ``` # 生成结果 每个来源的语料分别生成一个独立的*.tsv文件,都放在新生成的clean_chat_corpus文件夹下。 生成结果格式为 tsv格式,每行是一个样本,先是query,再是answer ``` query \t answer ``` # 结果的使用 这个就根据每个人不同的情况自主使用即可 个人对于聊天机器人方向实践也不是很多,以下一篇之前写的知乎专栏供参考 **《从产品完整性的角度浅谈chatbot》** 文章粗略讲解了如下一些方面,介绍了聊天机器人在实际产品化过程中可能遇到的问题和解决办法。 1. chatbot自身人格的设置 1. 产品上线需要考虑的敏感词处理 1. 文本检索模型的使用 1. 文本生成模型的使用 1. 回答打分机制 1. 万能回答的使用策略 1. 多媒体消息的处理 1. 产品模型部署的问题 # 版权说明 本项目为非商业项目,为纯搜集和汇总资料,如有侵权,请在issue下留言。
医疗对话 TSV 语料库是一个用于医疗领域的对话语料库,使用 TSV 格式存储数据。TSV (Tab Separated Values) 是一种文本文件格式,数据以制表符(Tab)进行分隔。这种语料库可以被用来训练和开发医疗领域的对话系统,提供更好的医疗服务和支持。 医疗对话 TSV 语料库包含了医疗场景中常见的对话对,其中包括医生和患者之间的交流。这些对话涉及到病情诊断、治疗方案、用药建议等医疗相关的话题。通过使用这个语料库,研究人员和开发者可以训练对话系统来理解和回答关于医疗问题的对话。 这个语料库的构建可能需要同时考虑到医生和患者的角度,以确保对话真实可信。而且,为了获得可靠的对话数据,可能需要依赖真实医疗场景中的对话记录或者通过模拟对话来创建这些数据。对话数据的收集和整理是一个复杂且需要专业知识的过程,需要确保对话的多样性和代表性。 医疗对话 TSV 语料库的建立对于开发医疗领域的自然语言处理 (NLP) 技术非常有价值。它可以为医疗机构提供有关患者病情、诊断和治疗方案的更多信息,帮助医生做出准确的判断和决策。同时,它也可以用于培训医疗助手机器人或虚拟医生,提供更便捷和准确的医疗咨询和指导。 医疗对话 TSV 语料库的应用还可以延伸到医学研究领域。研究人员可以使用这个语料库来分析医疗对话中的语言模式、诊断过程和治疗策略等,并从中挖掘出有关医疗领域的信息。这有助于提升医学研究的效率和准确性,进一步推动医学科学的发展。 总而言之,医疗对话 TSV 语料库是一个宝贵的资源,它为医疗领域的自然语言处理技术和医学研究提供了有力支持。通过使用这个语料库,可以实现更好的医疗服务和支持,提升医学科学的发展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值