大语言模型预训练数据集及清洗框架介绍，详细版后续会更新~

今天给大家带来一篇超简单的大语言模型预训练数据集及清洗框架总结,建议收藏!👍

前排提示，文末有AI大模型CSDN独家籽料包哦！

一、常见数据集类型 📚

1. 网页数据 🌐
2. 书籍 📖
3. 企业年报 📊
4. 法律文书 ⚖️
5. 问答 ❓
6. 新闻 📰
7. 百科 🔍
8. 考试题 ✍️
9. 专利 💡
10. 评论 💬
11. 博客 📝
12. 歌词 🎵
13. 古诗文 🖋️
14. 中英平行语料 🇨🇳🇬🇧

二、数据清洗框架对比 🧹

SlimPajama

• 擅长:大规模英文数据去重
• 优点:支持并行和内存优化,可处理万亿级数据
• 缺点:仅支持英文

MNBVC

• 擅长:中文语料清洗
• 优点:支持文本提取、去重和质量评分
• 缺点:仅支持文档级别去重

CC-NET

• 擅长:多语种清洗
• 优点:实现完整清洗链路,包括语种分类、规则过滤等
• 缺点:安装复杂,缺乏多粒度去重

三、理想的清洗框架 💯

1. 支持多语种多格式输入 🌍
2. 具备大规模并行和可扩展能力 🚀
3. 支持自定义规则和功能 🛠️
4. 支持多粒度去重(段落、章节、文档) 🔍
5. 模块化、可配置、可扩展 🧩
6. 提供丰富的规则库 📚

四、数据清洗核心流程 🔄

1. 预处理:抽取段落,计算哈希值
2. 去重、分类和打分:
   • 删除重复段落
   • 语种分类(如中文、英文、德文等)
   • 质量打分(分为Head、Middle、Tail三级)
3. 重组:按语种和质量分类重组,保存为Json文件

五、现有数据集反思 🤔

1. 数据规模:中英高质量文本已初步对齐开源模型(约20T Tokens)
2. 训练语种:从单/双语种向多语种发展
3. 采样方式:不均匀采样 vs 均匀采样(各有优势)
4. 去重策略:精确去重+模糊去重结合
5. 质量评估:缺乏统一标准,常用方法:
   • 质量分类器+阈值筛选
   • 文本困惑度(PPL)指标
   • 多轮人工校验

六 中文预训练数据集 🇨🇳

1. Wuanjuan 1.0

🔍 由上海AI实验室构建
📊 规模:552 GB中文文本
🧹 经过细粒度清洗、去重和价值对齐
⚠️ 注意:与MNBVC有重叠,使用前需去重

2. WuDaoCorpora

🏫 北京智源人工智能研究院出品
📚 包含文本、对话、图文对
🏷️ 50+行业数据标签
🧼 从100TB原始网页数据中清洗而来

3. CLUECorpus2020

🌐 从Common Crawl提取
📏 规模:100 GB
✅ 已用于成功训练Bert-base模型
🚨 仍存在一些质量问题,如繁体字、广告文本等

多语种数据集 🌍

1. CC100

🗣️ 100种语言
📊 总规模:2.5TB
🧠 用于训练XLM-R模型

2. OSCAR

🌐 基于Common Crawl
📊 总规模:6.3TB
🗨️ 151种语言

3. ROOTS

🌈 59种语言(46种自然语言+13种编程语言)
📊 规模:1.6TB
🤖 用于训练BLOOM模型

4. RedPajama-V2

🗣️ 5种主要语言
📊 规模:30T Tokens(约100TB)
🧹 采用CC-NET清洗框架

如何学习AI大模型 ？

“最先掌握AI的人，将会晚掌握AI的人有竞争优势，晚掌握AI的人比完全不会AI的人竞争优势更大”。 在这个技术日新月异的时代，不会新技能或者说落后就要挨打。

老蓝我作为一名在一线互联网企业（保密不方便透露）工作十余年，指导过不少同行后辈。帮助很多人得到了学习和成长。

我是非常希望可以把知识和技术分享给大家，但苦于传播途径有限，很多互联网行业的朋友无法获得正确的籽料得到学习的提升，所以也是整理了一份AI大模型籽料包括：AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、落地项目实战等 免费分享出来。

👉点击即可获取大模型学习包2024年最新版👈

1. AI大模型学习路线图
2. 100套AI大模型商业化落地方案
3. 100集大模型视频教程
4. 200本大模型PDF书籍
5. LLM面试题合集
6. AI产品经理资源合集

大模型学习路线

想要学习一门新技术，你最先应该开始看的就是学习路线图，而下方这张超详细的学习路线图，按照这个路线进行学习，学完成为一名大模型算法工程师，拿个20k、15薪那是轻轻松松！

视频教程

首先是建议零基础的小伙伴通过视频教程来学习，其中这里给大家分享一份与上面成长路线&学习计划相对应的视频教程。文末有整合包的领取方式

技术书籍籽料

当然，当你入门之后，仅仅是视频教程已经不能满足你的需求了，这里也分享一份我学习期间整理的大模型入门书籍籽料。文末有整合包的领取方式

大模型实际应用报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。文末有整合包的领取方式

大模型落地应用案例PPT

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。文末有整合包的领取方式

大模型面试题&答案

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。文末有整合包的领取方式

领取方式

这份完整版的 AI大模型学习籽料我已经上传CSDN，需要的同学可以微⭐扫描下方CSDN官方认证二维码免费领取！