Multi-CPR: 大规模段落检索多领域中文数据集
- 链接:
https://tianchi.aliyun.com/dataset/132745
- 描述
Multi-CPR 是用于段落检索的多领域中文数据集。 该数据集是从三个不同的领域收集的,包括电商、娱乐视频和医疗。 每个数据集包含数百万个段落和一定数量的人工标注查询-段落相关对。
- Baseline实验
WebCPM:清华发布中文LFQA 数据集,探索搜索引擎和PLM大模型结合新范式
- 论文地址:
https://arxiv.org/abs/2305.06849
- 代码:
https://github.com/thunlp/WebCPM
- 描述
开发一个类似于WebGPT一样的中文版本的数据集,用于检索相关事实,并基于这些事实生成最终回答,并发布一个baseline模型。
LFQA:旨在回答复杂的、开放式的问题,并带有详细的、段落长度的回答,一般有两个步骤,information retrieval:信息检索,检索出相关信息。information synthesis:信息合成,集成信息合成最终的答案。
- 数据样例
千言数据集:段落检索评测
- 数据集地址:
https://github.com/baidu/DuReader
- 数据集描述
DuReader_retrieval1数据集包含训练集、开发集、测试集和段落语料库:训练集: 训练集以大规模中文阅读理解数据集DuReader 2.0为基础构建而成,共提供了约8.6W个 <q,Pq> 样本用于模型的训练;数据集中的问题均为百度搜索中的真实用户问题,数据集中的篇章均来自百度搜索结果。开发集: 数据构造方法和分布与训练集完全相同,共包含2K个样本,用于模型整体性能调试。测试集: 数据构造方法和分布与训练集完全相同,共包含4K样本,用于模型的最终评测。段落语料库: 从真实网页文档中抽取并清理得到,共包含809万段落数据。作为检索的候选来源,包括了训练集、开发集和测试集中的所有段落。
cMedQA中文医疗社区问答数据集
- 数据集链接:
https://www.luge.ai/#/luge/dataDetail?id=70
- 数据集介绍
本数据集是目前为止最大规模的公开中文医疗社区问答数据集。数据来源为寻医问药网。 其中,cMedQA v1.0数据集有超过5万个医疗问题和超过10万个专业医生回答的答案构成[1],cMedQA v2.0数据集有近11万个医疗问题和近23万个专业医生回答的答案构成[2]。研究者需要通过训练集训练医疗自动问答模型,在验证和测试集上,针对每一个问题在给定的100个候选答案池中找出最佳的答案(该答案为真实医生所回答的答案)。数据集适合于训练中文医疗问答系统,减轻在线系统中医生的工作量,提高医疗社区系统服务用户的效率。