[论文笔记] LLM大模型清洗篇——1、规则清洗&去重&模型清洗

最新推荐文章于 2025-04-28 22:01:42 发布
最新推荐文章于 2025-04-28 22:01:42 发布
阅读量304 收藏
点赞数
分类专栏： 论文笔记 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/142214081
版权

规则清洗

        gopher、C4、Fineweb 论文的规则

算子名称	算子描述	算子来源	应用维度	过滤条件
duplicate_line_fraction	行重复率	Gopher	文档级别	≤ 0.30
duplicate_paragraph_fraction	自然段重复率	Gopher	文档级别	≤ 0.30
duplicate_line_character_fraction	行字符重复率	Gopher	行级别	≤ 0.20
duplicate_paragraph_character_fraction	自然段字符重复率	Gopher	自然段级别	≤ 0.20
top_2-gram_character_fraction	前2-gram字符占比	Gopher	文档级别	≤ 0.20
top_3-gram_character_fraction	前3-gram字符占比	Gopher	文档级别	≤ 0.18
top_4-gram_character_fraction	前4-gram字符占比	Gopher	文档级别	≤ 0.16
duplicate_5-gram_character_fraction	5-gram字符重复占比	Gopher	文档级别	≤ 0.15
duplicate_6-gram_character_fraction	6-gram字符重复占比	Gopher	文档级别	≤ 0.14
duplicate_7-gram_character_fraction	7-gram字符重复占比	Gopher	文档级别	≤ 0.13
duplicate_8-gram_character_fraction	8-gram字符重复占比	Gopher	文档级别	≤ 0.12
du
了解本专栏 订阅专栏 解锁全文 超级会员免费看
对国内外开源大模型（LLM）较为全面的整理
2401_85325726的博客
08-02 1216
CodeFuse-13B 是基于 GPT-NeoX 框架训练的 13B 参数代码生成模型，能够处理 4096 个字符的代码序列。该模型在 1000B Token 的代码、中文、英文数据数据集上进行预训练，覆盖超过 40 种编程语言。为了进一步提升生成代码的效果和质量，该模型还在CodeFuse-Evol-instruction-66k 数据集上进行了微调，使得该模型能够生成更加准确、高效、符合要求的代码。
《大语言模型》综述学习笔记
Jessica的学习笔记
01-30 2247
记录一些有启发性的说法：1、当前大语言模型的技术路线图：“解码器架构+预测下一个词”，即通过在海量文本上进行下一个词预测的优化，使得模型能够学习到丰富的语义知识信息，进而通过文本补全的方式解决各种下游任务。在这种通用的预训练范式下，模型能力本质上是来源于所见过的训练数据，因此数据工程就变得极为重要，不是简单的扩大数据规模就能够实现的。目前来说，数据工程主要包括三个方面。首先，需要对于数据进行全面的采集，拓宽高质量的数据来源；其次，需要对于收集到的数据进行精细的清洗，尽量提升用于大模型训练的数据质量；
LLM大模型测试训练语料数据
03-15
目前支持两种格式的数据集：alpaca 和 sharegpt 在所有类型的数据集中，预训练语料库的规模通常是最大的。在预训练阶段，LLM 从大量未标记的文本数据中学习广泛的知识，然后将其存储在其模型参数中。它使 LLM 具有一定程度的语言理解和生成能力。预训练语料库可以包含各种类型的文本数据，如网页、学术资料、书籍，同时也可以容纳来自不同领域的相关文本，如法律文件、年度财务报告、医学教科书和其他特定领域的数据根据预训练语料库中涉及的领域，它们可以分为两种类型。第一种类型是通用的预训练语料库，它由来自不同领域和主题的大规模文本数据混合组成。这些数据通常包括来自互联网的文本内容，例如新闻、社交媒体、百科全书等。目标是为NLP任务提供通用的语言知识和数据资源。
AI LLM预训练数据集及其清洗框架总结
FeelTouch Labs
08-20 1339
本文从快速构建大型语言模型（LLM）训练数据集的角度出发，全面梳理了中文、英文和多语种数据集及其清洗规则，介绍了常用的数据清洗框架和主要流程，指出现有数据集存在的问题及其初步解决方案。站在开源数据集的肩膀上，通过数据整合和精细治理，我们能快速产出落地方案和结果，从而推动 LLM 的训练和优化任务。数据类别：已覆盖了所有常见的类别，包括网页、书籍、企业年报、法律文书、问答、新闻、百科、考试、专利、评论、博客、歌词、古诗文、中英平行语料等。训练语种：训练集包含中英双语。
LLM实践系列-数据去重之Simhash&Minhash分析与实现
m0_59235699的博客
10-14 2093
数据处理是LLM pretrain的核心环节，去重又是数据处理的重要组成部分，这篇文章就分享一下数据去重的一般做法。我写东西的主要是想学会什么，而仅仅是了解什么，所以回答和文章大多都会附上代码，这篇也是一样。顾名思义，文档粒度就是以文档为单位，删除重复文档。这种做法最为普遍，主要是为了删除完全重复或几乎一致的文档，这种文档一般来自于相同文档的不同源发布转载、重复爬取等。
科技云报道：大模型落地，如何跨过数据这道坎？
科技云报道
05-21 528
比如，亚马逊云科技上超过20万个数据湖都使用Amazon S3，它支持广泛的数据协议，能够轻松应对各种数据类型，还支持智能分层以降低训练成本，其安全和功能都满足微调和预训练基础模型对数据存储上的要求。比如，在检索增强生成(RAG)场景中，企业将自身的知识库、数据库等与生成式AI模型相结合，在生成过程中需要实时检索和利用企业内部的相关数据，从而提高生成结果的准确性、一致性和信息量。因此，建立一套高效、可靠的数据处理流程，确保数据的质量与合规性，成为了大模型落地的基石。然而，构建大模型的数据能力并不容易。
DataFrame算子
m0_48275578的博客
05-07 401
算子分类       |__ RDD同源       |    |__ 数据转换       |    |             
大模型并行训练指南——通俗理解Megatron-DeepSpeed：从模型并行(张量并行、流水线并行)到数据并行ZeRO3优化
热门推荐
结构之法 算法之道
08-24 3万+
BLOOM 的模型架构与GPT3非常相似，只是增加了一些改进，本文稍后将对此进行讨论。该模型是在Jean Zay上训练的，Jean Zay 是由 GENCI 管理的法国政府资助的超级计算机，安装在法国国家科学研究中心 (CNRS) 的国家计算中心IDRIS。训练所需的算力由 GENCI 慷慨捐赠给本项目 (捐赠号 2021-A0101012475)。GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU。
Datawhale AI夏令营第四期-大模型应用开发Task3笔记
2301_76662977的博客
08-17 1004
最后，大型模型就能够依据所提供的知识来生成回复，从而更有效地解答用户的问题。因此，有时会出现模型“一本正经地胡说八道”的情况，尤其是在大模型不具备的知识或不擅长的场景中。知识局限性：大模型的知识来源于训练数据，而这些数据主要来自于互联网上已经公开的资源，对于一些实时性的或者非公开的，由于大模型没有获取到相关数据，这部分知识也就无法被掌握。然而，对于企业来说，数据的安全性至关重要，任何形式的数据泄露都可能对企业构成致命的威胁。，它是一个4层的BERT模型，最大输入长度512，输出的向量维度也为512。
“Datawhale AI 夏令营”第四期·大模型应用开发笔记
m0_74097783的博客
08-12 242
通过学习大模型部署、大模型检索增强生成（Retrieval Augmented Generation, RAG）实战、大模型微调实战，掌握大模型应用全栈开发.本假期参与了Datawhale AI 夏令营第四期，主要是对大模型应用开发方向感兴趣。希望在夏令营可以学到更多知识，认识更多小伙伴。跑完Task1，感觉没有想象中那么难，对新手很友好！
大模型综述一镜到底（全文八万字） ——《Large Language Models: A Survey》
进一步有进一步的欢喜~
02-03 2308
自2022年11月ChatGPT发布以来，大语言模型（LLMs）因其在广泛的自然语言任务上的强大性能而备受关注。正如缩放定律所预测的那样，大语言模型通过在大量文本数据上训练数十亿个模型参数来获得通用语言理解和生成能力。大语言模型的研究领域虽然非常新，但在许多不同方面都在迅速发展。在本文中，我们回顾了一些最杰出的大语言模型，包括三个流行的大语言模型家族（GPT、LLaMA、PaLM），讨论了它们的特点、贡献和局限性。我们还概述了为构建和增强大语言模型而开发的技术。然后，我们调查了为大语言模型训练、微调和评估准
高压开关柜局部放电信号分析系统
m0_61057267的博客
04-28 1018
这个项目是我在2025年实现的高压开关柜局部放电信号分析系统，目的是通过采集分析局部放电信号，判断设备的工作状态和潜在故障。系统包含从信号模拟生成、特征提取、到深度学习模型训练的全流程，最终可自动生成分析报告。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 2783
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
人工智能(AI)对网络管理的影响
ITmoster的博客
04-25 1363
AI正从工具演变为网络管理的“核心大脑”，其价值不仅在于效率提升，更在于为复杂问题提供系统性解决方案。
花费7元训练自己的GPT 2模型
最新发布
04-28 882
在上一篇博客中，我介绍了用Tensorflow来重现GPT 1的模型和训练的过程。这次我打算用Pytorch来重现GPT 2的模型并从头进行训练。GPT 2的模型相比GPT 1的改进并不多，主要在以下方面：1. GPT 2把layer normalization放在每个decoder block的前面。2. 最终的decoder block之后额外添加了一个layer normalization。3. 残差层的参数初始化根据网络深度进行调节。
tokenizer的用法
大多_C的博客
04-25 791
可以基于现有 tokenizer 进行修改，如添加自定义的 token（tokenizer.add_tokens([“新词”])），从而扩展词汇表，此时可调用 tokenizer.resize_token_embeddings(model) 更新模型嵌入层。]}，有时还会包含其他信息比如 “token_type_ids”、“offset_mapping”（用于对齐）等。• return_tensors: 指定返回类型，如 “pt”（PyTorch tensor）、“tf” 或 “np”（NumPy 数组）
计算机视觉各类任务评价指标详解
qq_47898999的博客
04-25 1228
计算机视觉各类任务评价指标详解
AI 工程师崛起：科技浪潮下的新兴力量
2401_86652632的博客
04-25 1096
在当今科技迅猛发展的时代，人工智能（AI）无疑是最热门的领域之一。随着基础模型的涌现和开源 / API 的普及，一种新兴的职业 ——AI 工程师，正逐渐崭露头角。他们在 AI 技术的应用和开发中扮演着关键角色，其崛起背后有着诸多深刻的原因，并且正在重塑整个科技行业的格局。今天，就让我们深入探究 AI 工程师这一职业的发展脉络。
GroundVLP论文精读
记录知识，分享知识
04-27 689
视觉定位是一项关键的视觉-语言任务，要求模型根据查询捕捉视觉上下文中的对象及其空间和属性信息。然而，由于视觉接地任务的标注数据受限于耗时且劳动密集的标注过程，导致训练模型的泛化能力受限，难以应对更广泛的领域。为解决这一挑战，我们提出了 GroundVLP，一种简单但有效的零样本方法，利用从图像-文本对和纯对象检测数据中获取的视觉接地能力，这两者相比视觉接地标注数据更易获取且覆盖更广的领域。GroundVLP 提出了一种融合机制，结合 GradCAM 的热图和开放词汇检测器的对象提议。
llm预训练数据清洗
02-13
### 大型语言模型预训练数据清洗技术与最佳实践 #### 数据源的选择与管理 对于大型语言模型（LLM），高质量的数据源至关重要。通常使用的数据源包括网页、维基百科、书籍以及代码片段等[^2]。为了高效管理和处理这些海量数据，应建立有效的数据管理系统，这可能涉及使用诸如PostgreSQL或MongoDB这样的数据库系统来存储和快速检索用于模型训练的数据[^1]。 #### 去重操作 重复的内容不仅浪费计算资源而且会影响最终模型的质量。因此，在构建语料库之前应当执行严格的去重流程。通过哈希算法或其他相似度匹配的方法可以有效地识别并移除冗余条目。 #### 过滤不相关内容 并非所有的抓取内容都适合用来训练LLMs；一些低质量或是无关紧要的信息可能会干扰学习过程。为此，需设计一套过滤机制去除那些不符合特定标准的文章段落——比如含有过多拼写错误的文字、广告性质强烈的页面或者是版权受限材料等等。 #### 文本规范化处理 在准备阶段还需对原始文本实施一系列标准化措施，例如转换成统一编码格式（UTF-8）、删除HTML标签和其他元字符标记、调整大小写字母的一致性等。此外，针对某些特殊领域还可以考虑加入专门术语表来进行更精细的清理工作。 #### 分词与词汇表创建 考虑到中文等非英文语言的特点，在实际应用中往往需要先进行分词处理再进入后续步骤。采用字节对编码(Byte Pair Encoding,BPE)是一种流行的做法，它可以根据频率统计动态生成子字符串单位从而形成紧凑而高效的表示形式。经过这样一轮加工之后便能建立起规模约为15万词条左右的基础词典供进一步分析利用。 ```python from tokenizers import ByteLevelBPETokenizer tokenizer = ByteLevelBPETokenizer() # 训练 tokenizer 使用自定义参数... ``` #### 加权训练策略 当面对多样的资料集合时，简单混合未必总能得到最优效果。相反地，根据不同类型的贡献程度赋予相应的权重因子有助于提升整体性能表现。具体而言就是让更加重要或者更具代表性的部分获得更高的关注度，以此促进更好的泛化能力发展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值