【RAG数据集】中文信息检索数据集整合

Multi-CPR: 大规模段落检索多领域中文数据集

• 链接：

https://tianchi.aliyun.com/dataset/132745

• 描述

Multi-CPR 是用于段落检索的多领域中文数据集。 该数据集是从三个不同的领域收集的，包括电商、娱乐视频和医疗。 每个数据集包含数百万个段落和一定数量的人工标注查询-段落相关对。

• Baseline实验
  

WebCPM：清华发布中文LFQA 数据集，探索搜索引擎和PLM大模型结合新范式

• 论文地址：

https://arxiv.org/abs/2305.06849

• 代码：

https://github.com/thunlp/WebCPM

• 描述

开发一个类似于WebGPT一样的中文版本的数据集，用于检索相关事实，并基于这些事实生成最终回答，并发布一个baseline模型。
LFQA：旨在回答复杂的、开放式的问题，并带有详细的、段落长度的回答，一般有两个步骤，information retrieval：信息检索，检索出相关信息。information synthesis：信息合成，集成信息合成最终的答案。

• 数据样例
  

千言数据集：段落检索评测

• 数据集地址：

https://github.com/baidu/DuReader

• 数据集描述

DuReader_retrieval1数据集包含训练集、开发集、测试集和段落语料库：训练集: 训练集以大规模中文阅读理解数据集DuReader 2.0为基础构建而成，共提供了约8.6W个 <q,Pq> 样本用于模型的训练；数据集中的问题均为百度搜索中的真实用户问题，数据集中的篇章均来自百度搜索结果。开发集： 数据构造方法和分布与训练集完全相同，共包含2K个样本，用于模型整体性能调试。测试集： 数据构造方法和分布与训练集完全相同，共包含4K样本，用于模型的最终评测。段落语料库： 从真实网页文档中抽取并清理得到，共包含809万段落数据。作为检索的候选来源，包括了训练集、开发集和测试集中的所有段落。

cMedQA中文医疗社区问答数据集

• 数据集链接:

https://www.luge.ai/#/luge/dataDetail?id=70

• 数据集介绍

本数据集是目前为止最大规模的公开中文医疗社区问答数据集。数据来源为寻医问药网。 其中，cMedQA v1.0数据集有超过5万个医疗问题和超过10万个专业医生回答的答案构成[1]，cMedQA v2.0数据集有近11万个医疗问题和近23万个专业医生回答的答案构成[2]。研究者需要通过训练集训练医疗自动问答模型，在验证和测试集上，针对每一个问题在给定的100个候选答案池中找出最佳的答案（该答案为真实医生所回答的答案）。数据集适合于训练中文医疗问答系统，减轻在线系统中医生的工作量，提高医疗社区系统服务用户的效率。