大模型面经之llama3训练如何保证数据质量

本篇将介绍llama3模型训练的数据质量控制方法

1、训练数据清洗

• 安全性过滤：对训练数据进行筛选，排除包含个人信息、有害内容和成人内容的文本。

• 文本清洗：使用HTML解析器提取文本、代码和数学公式，同时去除markdown标签，保留HTML中的alt标签。

• 文本去重：

• • URL去重：保留每个网页的最新版本URL。
  • Document-level去重：使用全局MinHash算法判定并去除重复文档。
  • Line-level去重：根据每30M文档中出现超过6次的行进行判定和去重。

• 启发式去重：通过n-gram覆盖比检测重复内容，使用定义的“脏词”过滤成人内容，通过token分布的KL距离检测异常符号。

• 基于模型的低质过滤：使用多种模型评估文档质量，如Llama2-chat和DistilledRobera。

• 代码和推理数据： 专门定制 HTML parser 从网络文本中抽取出数学推导、理工科里的推理内容以及与文本交织在一起的代码，通过这些数据对 Llama2 进行提示微调，然后使用 Llama2 生成标注数据，交给 DistilledRoberta 从网络文本中分辨出这部分数据。

• 多语言数据。 基于 fasttext 的语言分类模型将所有数据分类成 176 种语言，在每种语言内部执行 document-level 和 line-level 去重，使用每种语言专门的模型和启发式规则过滤低质量样本。

*\2、不同来源训练数据配比*

• 使用知识分类器和规模定律实验来确定不同数据来源在训练集中的占比，最终得到的数据配比如下：

• • 约50%的token与通用知识相关。
  • 25%的数学和推理数据。
  • 17%的代码数据。
  • 8%的多语言数据。

3、后训练数据质量控制

• 后训练阶段使用的训练数据大多是基于已有大模型合成的，因此对数据质量的要求更高。

（1）启发式规则：

• 清洗频繁出现的脏数据，如emoji符号、感叹号和道歉前缀等。

（2）基于模型的方法：

• 主题分类：使用Llama3 8B微调的主题分类器对数据进行二级主题分类。
• 质量分：使用奖励模型和Llama-prompt对样本进行质量打分。
• 复杂度：设计Llama3 70B的prompt，抽取SFT数据中的意图，意图越多说明问题越复杂。
• 语义去重：使用Roberta对样本聚类，根据质量分和复杂度排序，过滤高度相似的样本。

4、数据生产的新方法

• 执行反馈：

• • Step 1：随机采样大量代码片段，通过提示让模型总结代码片段中的问题。
  • Step 2：告诉Llama3这些问题、代码以及一些编程语言通用规则，生成这些问题的解决方法。
  • Step 3：抽取解决方法中的源代码，对其进行编译，还可以生成一些单元测试，将编译不过或者单元测试不通过的样本，可以尝试让Llama3来修复，可以修复大约20%的样本。

• 编程语言互译：

• • 针对冷门语言（如typescript/PHP）数据较少的问题，使用Llama3将热门语言（如Python/C++）翻译成冷门语言的版本，并结合语法分析、编译和跑单测来保证质量。

• 回译：

• • Step 1：让Llama3为代码生成注释、解释等信息。
  • Step 2：让Llama3根据这些信息生成代码。
  • Step 3：让Llama3判断生成的代码和原始代码是否一致，将不一致的过滤掉来保证质量。

---

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓