魔哈镜像迄今最大合成数据集 Cosmopedia

Cosmopedia

Cosmopedia 是一个由Mixtral-8x7B-Instruct-v0.1生成的合成教科书、博文、故事、帖子和WikiHow文章的数据集。该数据集包含超过3000万个文件和250亿个tokens，是HuggingFace用了10k张H100生成的迄今为止最大的开放合成数据集。受 Phi1.5 工作的启发，Cosmopedia 的初始版本为合成数据领域的研究奠定了基础。它作为不同主题的综合资源，强调其在后续迭代中进一步增强的潜力。

Cosmopedia分为八个部分，每个部分都源自不同的种子样本。这些分割包括 web_samples_v1 和 web_samples_v2，约占数据集的 75%，源自类似于 RefinedWeb 的内部 Web 数据集。斯坦福分部利用了来自 stanford.edu 的课程大纲，而故事分部则采用了 UltraChat 和 OpenHermes2.5 生成的叙述。此外，WikiHow、OpenStax、KhanAcademy 和 automathtext 拆分涉及与其各自来源相关的提示。

Dataset splits

Prompts都基于使用种子样本（例如网页摘录）的概念，并要求模型生成与该种子样本相关的新内容（教科书、故事、博客文章）。数据集由8个拆分组成，具体取决于拆分中使用的种子数据的来源。下图显示了Cosmopedia中种子数据集、世代格式和受众的分布：

除了去污染外，Cosmopedia将解释网络样本的主题聚类方法以及我们完善提示的迭代过程。主题聚类 我们的目标是以教科书等更干净的格式生成大量合成数据，涵盖广泛的主题（本质上，在网络上发现的任何有用的东西）

如何在魔哈上使用Cosmopedia

首先魔哈仓库已经完全同步了Cosmopedia数据集，并会在每天早上定期从 HuggingFace上更新最新版本的数据集

目前有两种方式可以通过魔哈·Moha仓库来加速您下载Cosmopedia数据集

设置魔哈官方地址直接下载数据集

export HF_ENDPOINT=https://moha.xiaoshiai.cn/huggingface

使用Moha专属CDN加速从HuggingFace上下载数据集

联系我们

关注我们公众号 “晓石AI” 咨询更多问题