对话语料库

最新推荐文章于 2024-07-30 22:31:58 发布
最新推荐文章于 2024-07-30 22:31:58 发布
阅读量2w 收藏 25
点赞数 7
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013378306/article/details/72654418
版权
NLP 专栏收录该内容
45 篇文章 41 订阅 ¥49.90 ¥99.00
订阅专栏
这篇博客列举了用于训练聊天机器人系统的一系列公开和未公开的对话数据集。
摘要由CSDN通过智能技术生成

用于训练中英文对话系统的语料库 Datasets for Training Chatbot System

用于对话系统的中英文语料 本项目收集了一些从网络中找到的用于训练中文（英文）聊天机器人的对话语料
 

公开语料

搜集到的一些数据集如下，点击链接可以进入原始地址

dgk_shooter_min.conv.zip 
中文电影对白语料，噪音比较大，许多对白问答关系没有对应好

The NUS SMS Corpus 
包含中文和英文短信息语料，据说是世界最大公开的短消息语料

ChatterBot中文基本聊天语料 
ChatterBot聊天引擎提供的一点基本中文聊天语料，量很少，但质量比较高
了解本专栏 订阅专栏 解锁全文
life1024
关注
专栏目录
订阅专栏
小黄鸡语料库.conv
06-16
小黄鸡语料库.conv
【汇总】语料库资源
诺顿500的博客
07-02 1513
source link:https://www.douban.com/note/269081724/ 国内可用免费语料库（凡没有标注不可用的链接均可用） (一) 国家语委 1.国家语委现代汉语语料库http://www.cncorpus.org/ 现代汉语通用平衡语料库现在重新开放网络查询了。重开后的在线检索速度更快，功能更强，同时提供检索结果下载。现代汉语语料库在线提供免费检索的
NLP从零开始------3.文本基础处理之语料库
最新发布
m0_74922316的博客
07-30 1005
语料库是为某一个或多个应用而专门收集的、有一定结构的、有代表性的、可以被计算机程序检索的、具有一定规模的语料的集合。其实语料库的本质就是经过科学取样和加工的大规模电子文本库。对于语料库来说有三个显著特征：1.语料库中存放的是真实出现过的语言材料。2. 语料库是以计算机为载体，承载语言知识的基础资源。3.语料库是对真实语料进行加工、分析和处理的资源。任何一个信息处理系统都离不开语料库的支持，在nlp中更是如此。
一个可以使用自己语料进行训练的聊天机器人开源项目
Chatopera
09-08 3723
目录背景关于语料的说明seq2seq版本代码执行顺序seqGAN版本代码执行顺序参考代码和文献建议环境已更新功能清单版本路线图 背景 自定义语料训练聊天机器人，可以用于智能客服、在线问答、智能聊天等场景。目前包含seq2seq、seqGAN版本和tf2.0版本。 https://github.com/chatopera/chatbot-seq2seq 后续计划更新pytorch版本，欢迎大家实践交流。 关于语料的说明 以小黄鸡的语料为例子，地址 corpus-小黄鸡 其它语料： 心理咨询问答语料库 保险行业
小黄鸡语料库（分词以及未分词）
03-08
小黄鸡语料库，包含分词以及未分词，可以用于自然语言处理。
中文聊天对话语料chinese chatbotcorpus
02-21
# 说明 该库是对目前市面上已有的开源中文聊天语料的搜集和系统化整理工作 该库搜集了包含 - chatterbot - 豆瓣多轮 - PTT八卦语料 - 青云语料 - 电视剧对白语料 - 贴吧论坛回帖语料 - 微博语料 - 小黄鸡语料 共8个公开闲聊常用语料和短信，白鹭时代问答等语料。 并对8个常见语料的数据进行了统一化规整和处理，达到直接可以粗略使用的目的。 **使用该项目，即可对所有的聊天语料进行一次性的处理和统一下载，不需要到处自己去搜集下载和分别处理各种不同的格式。* # 环境 python3 # 处理过程 将各个来源的语料按照其原格式进行提取，提取后进行繁体字转换，然后统一变成一轮一轮的对话。 # 使用方法 将解压后的raw_chat_corpus文件夹放到当前目录下 目录结构为 ``` raw_chat_corpus -- language -- process_pipelines -- raw_chat_corpus ---- chatterbot-1k ---- douban-multiturn-100w ---- .... -- main.py -- ... ``` 执行命令即可 ```bash python main.py ``` 或者 ```bash python3 main.py ``` # 生成结果 每个来源的语料分别生成一个独立的*.tsv文件，都放在新生成的clean_chat_corpus文件夹下。 生成结果格式为 tsv格式，每行是一个样本，先是query，再是answer ``` query \t answer ``` # 结果的使用 这个就根据每个人不同的情况自主使用即可 个人对于聊天机器人方向实践也不是很多，以下一篇之前写的知乎专栏供参考 **《从产品完整性的角度浅谈chatbot》** 文章粗略讲解了如下一些方面，介绍了聊天机器人在实际产品化过程中可能遇到的问题和解决办法。 1. chatbot自身人格的设置 1. 产品上线需要考虑的敏感词处理 1. 文本检索模型的使用 1. 文本生成模型的使用 1. 回答打分机制 1. 万能回答的使用策略 1. 多媒体消息的处理 1. 产品模型部署的问题 # 版权说明 本项目为非商业项目，为纯搜集和汇总资料，如有侵权，请在issue下留言。
深度学习【使用seq2seq实现聊天机器人】
weixin_43923463的博客
09-06 1403
由于数据中存到大量的噪声，可以对其进行基础的处理，然后分别把input和target使用两个文件保存，即input中的第N行为问，target的第N行为答。当前的数据量为500多万条，在GTX1070（8G显存）上训练，大概需要90分一个epoch，耐心的等待吧。的聊天数据非常不好获取，所以从github上使用一些开放的数据集来训练闲聊机器人模型。和之前的操作相同，需要把文本能转化为数字，同时还需实现方法把数字转化为文本。微博的标题和评论：质量相对较高。小黄鸡的聊天语料：噪声很大。...
康奈尔电影对话语料库
08-10
《康奈尔电影对话语料库》是学术界和自然语言处理领域中一个重要的资源，主要由康奈尔大学的研究团队构建。这个语料库包含了大量来自不同电影的对话，为研究者提供了一个丰富的数据集，用于分析和理解人类语言交流的...
ubuntu-corpus:Ubuntu 对话语料库
07-18
Ubuntu 对话语料库：用于研究非结构化多轮对话系统的大型数据集 。 依赖关系 PostgreSQL 附魔 PyPy（pyenchant，psycopg2） NodeJS（蓝鸟、knex、mkdirp） 创建数据库 psql -d template1 > create database ...
OpendialEx:Opendial对话语料库
05-09
<<<<<<< HEADOpendialEx智能对话机器人一、版本历史1. 用户手册v1.0中文版上线1.基础入门2....对话域5....2.2 声控机器人语料设计和...2.5 智能对话框架源码解析（一）2.6 智能对话框架源码解析（二）
小黄鸡-未分词-语料库
01-15
来源于人人网小黄鸡语料库，经过一部分处理后，但是并没有分词，可以用于对于中文的常用对话系统训练，也可以进行普通的中文自然语言处理。
分词以及未分词的小黄鸡语料库+CDNOW数据集
11-01
分词和未分词的小黄鸡语料库还有CDNOW数据集；；；；；
chinese_chatbot_corpus:中文公开聊天语料库
05-06
说明 该库是对目前市面上已有的开源中文聊天语料的搜集和系统化整理工作 该库搜集了包含 chatterbot 豆瓣多轮 PTT八卦语料 青云语料 电视剧对白语料 贴吧论坛回帖语料 微博语料 小黄鸡语料 共8个公开闲聊常用语料和短信，白鹭时代问答等语料。 并对8个常见语料的数据进行了统一化规整和处理，达到直接可以粗略使用的目的。 使用该项目，即可对所有的聊天语料进行一次性的处理和统一下载，不需要到处自己去搜集下载和分别处理各种不同的格式。 注意 以下所有语料都已经统一下载好，存在 提取码：f2ex 中。给出的语料原链接是为了说明该语料的原始出处是在哪里 环境 python3 处理过程 将各个来源的语料按照其原格式进行提取，提取后进行繁体字转换，然后统一变成一轮一轮的对话。 数据来源及说明 语料名称 语料数量 语料来源说明 语料特点 语料样例 是否已分词 chatterbot 560 开源项
人工智能-项目实践-聊天语料库-中文公开聊天语料库
05-18
人工智能-项目实践-聊天语料库-中文公开聊天语料库 该库是对目前市面上已有的开源中文聊天语料的搜集和系统化整理工作 该库搜集了包含 chatterbot 豆瓣多轮 PTT八卦语料 青云语料 电视剧对白语料 贴吧论坛回帖语料 微博语料 小黄鸡语料 共8个公开闲聊常用语料和短信，白鹭时代问答等语料。
小黄鸡对话语料，一共三份，未处理、单个词切分、结巴分词处理
01-03
该文档是网传的小黄鸡语料库，经过简单的数据预处理，已保存为conv文件格式，每一个E代表一段对话的开始，详见语料库内容，经本人测试，语料训练效果还不错，有志于学习NLP相关课程的同学可以下载做个小案例
康奈尔电影对话语料库.zip
02-14
《康奈尔电影对话语料库》是一个广泛用于自然语言处理（NLP）研究的数据集，其中包含了丰富的对话和电影剧本信息。这个压缩包中包含了多个文件，每个文件都有其特定的作用，对于理解和分析对话模式、情感分析以及...
自然语言处理：问答语料生成词汇表,词转向量(三)
天然玩家的博客
02-16 2197
1 获取语料 2 预处理语料 2.1 拆分问答数据集 2.2 词转向量（word2vec） [参考文献] [] [] [] []
python小黄鸡nlp聊天机器人
babyai996的博客
04-07 2279
python小黄鸡nlp聊天机器人 # encoding: utf-8 import os import tensorflow as tf import numpy as np from SequenceToSequence import Seq2Seq import DataProcessing from CONFIG import BASE_MODEL_DIR, MODEL_NAME, data_config, model_config import tornado.web import
50w 多轮对话语料库
09-06
50w 多轮对话语料库指的是一个包含50万个以上对话的语料库。这个语料库可以包含各种不同领域和话题的对话，比如日常生活、商务、科技等。这样的语料库可以用于许多不同的应用，比如机器人对话系统、自然语言处理研究...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

life1024

你的鼓励将是我创作的最大动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值