【RAG数据集】中文信息检索数据集整合

致Great

于 2024-09-02 10:44:35 发布

阅读量291

点赞数 3

分类专栏： RAG NLP 文章标签：人工智能自然语言处理大模型 RAG 信息检索

本文链接：https://blog.csdn.net/yanqianglifei/article/details/141813665

版权

NLP 同时被 2 个专栏收录

65 篇文章 20 订阅

订阅专栏

RAG

7 篇文章 1 订阅

订阅专栏

Multi-CPR: 大规模段落检索多领域中文数据集

链接：

https://tianchi.aliyun.com/dataset/132745

描述

Multi-CPR 是用于段落检索的多领域中文数据集。该数据集是从三个不同的领域收集的，包括电商、娱乐视频和医疗。每个数据集包含数百万个段落和一定数量的人工标注查询-段落相关对。

Baseline实验

WebCPM：清华发布中文LFQA 数据集，探索搜索引擎和PLM大模型结合新范式

论文地址：

https://arxiv.org/abs/2305.06849

代码：

https://github.com/thunlp/WebCPM

描述

开发一个类似于WebGPT一样的中文版本的数据集，用于检索相关事实，并基于这些事实生成最终回答，并发布一个baseline模型。
LFQA：旨在回答复杂的、开放式的问题，并带有详细的、段落长度的回答，一般有两个步骤，information retrieval：信息检索，检索出相关信息。information synthesis：信息合成，集成信息合成最终的答案。

数据样例

千言数据集：段落检索评测

数据集地址：

https://github.com/baidu/DuReader

数据集描述

DuReader_retrieval1数据集包含训练集、开发集、测试集和段落语料库：训练集: 训练集以大规模中文阅读理解数据集DuReader 2.0为基础构建而成，共提供了约8.6W个 <q,Pq> 样本用于模型的训练；数据集中的问题均为百度搜索中的真实用户问题，数据集中的篇章均来自百度搜索结果。开发集：数据构造方法和分布与训练集完全相同，共包含2K个样本，用于模型整体性能调试。测试集：数据构造方法和分布与训练集完全相同，共包含4K样本，用于模型的最终评测。段落语料库：从真实网页文档中抽取并清理得到，共包含809万段落数据。作为检索的候选来源，包括了训练集、开发集和测试集中的所有段落。

cMedQA中文医疗社区问答数据集

数据集链接:

https://www.luge.ai/#/luge/dataDetail?id=70

数据集介绍

本数据集是目前为止最大规模的公开中文医疗社区问答数据集。数据来源为寻医问药网。其中，cMedQA v1.0数据集有超过5万个医疗问题和超过10万个专业医生回答的答案构成[1]，cMedQA v2.0数据集有近11万个医疗问题和近23万个专业医生回答的答案构成[2]。研究者需要通过训练集训练医疗自动问答模型，在验证和测试集上，针对每一个问题在给定的100个候选答案池中找出最佳的答案（该答案为真实医生所回答的答案）。数据集适合于训练中文医疗问答系统，减轻在线系统中医生的工作量，提高医疗社区系统服务用户的效率。