[论文笔记] LLM大模型清洗篇——1、规则清洗&去重&模型清洗

最新推荐文章于 2024-10-13 21:11:07 发布
最新推荐文章于 2024-10-13 21:11:07 发布
阅读量110 收藏
点赞数
分类专栏： 论文笔记 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/142214081
版权

规则清洗

        gopher、C4、Fineweb 论文的规则

算子名称	算子描述	算子来源	应用维度	过滤条件
duplicate_line_fraction	行重复率	Gopher	文档级别	≤ 0.30
duplicate_paragraph_fraction	自然段重复率	Gopher	文档级别	≤ 0.30
duplicate_line_character_fraction	行字符重复率	Gopher	行级别	≤ 0.20
duplicate_paragraph_character_fraction	自然段字符重复率	Gopher	自然段级别	≤ 0.20
top_2-gram_character_fraction	前2-gram字符占比	Gopher	文档级别	≤ 0.20
top_3-gram_character_fraction	前3-gram字符占比	Gopher	文档级别	≤ 0.18
top_4-gram_character_fraction	前4-gram字符占比	Gopher	文档级别	≤ 0.16
duplicate_5-gram_character_fraction	5-gram字符重复占比	Gopher	文档级别	≤ 0.15
duplicate_6-gram_character_fraction	6-gram字符重复占比	Gopher	文档级别	≤ 0.14
duplicate_7-gram_character_fraction	7-gram字符重复占比	Gopher	文档级别	≤ 0.13
duplicate_8-gram_character_fraction	8-gram字符重复占比	Gopher	文档级别	≤ 0.12
du
了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
专栏目录
订阅专栏
科技云报道：大模型落地，如何跨过数据这道坎？
科技云报道
05-21 496
比如，亚马逊云科技上超过20万个数据湖都使用Amazon S3，它支持广泛的数据协议，能够轻松应对各种数据类型，还支持智能分层以降低训练成本，其安全和功能都满足微调和预训练基础模型对数据存储上的要求。比如，在检索增强生成(RAG)场景中，企业将自身的知识库、数据库等与生成式AI模型相结合，在生成过程中需要实时检索和利用企业内部的相关数据，从而提高生成结果的准确性、一致性和信息量。因此，建立一套高效、可靠的数据处理流程，确保数据的质量与合规性，成为了大模型落地的基石。然而，构建大模型的数据能力并不容易。
对国内外开源大模型（LLM）较为全面的整理
2401_85325726的博客
08-02 505
CodeFuse-13B 是基于 GPT-NeoX 框架训练的 13B 参数代码生成模型，能够处理 4096 个字符的代码序列。该模型在 1000B Token 的代码、中文、英文数据数据集上进行预训练，覆盖超过 40 种编程语言。为了进一步提升生成代码的效果和质量，该模型还在CodeFuse-Evol-instruction-66k 数据集上进行了微调，使得该模型能够生成更加准确、高效、符合要求的代码。
大模型并行训练指南：通俗理解Megatron-DeepSpeed之模型并行与数据并行
热门推荐
结构之法 算法之道
08-24 2万+
BLOOM 的模型架构与GPT3非常相似，只是增加了一些改进，本文稍后将对此进行讨论。该模型是在Jean Zay上训练的，Jean Zay 是由 GENCI 管理的法国政府资助的超级计算机，安装在法国国家科学研究中心 (CNRS) 的国家计算中心IDRIS。训练所需的算力由 GENCI 慷慨捐赠给本项目 (捐赠号 2021-A0101012475)。GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU。
Datawhale AI夏令营第四期-大模型应用开发Task3笔记
2301_76662977的博客
08-17 914
最后，大型模型就能够依据所提供的知识来生成回复，从而更有效地解答用户的问题。因此，有时会出现模型“一本正经地胡说八道”的情况，尤其是在大模型不具备的知识或不擅长的场景中。知识局限性：大模型的知识来源于训练数据，而这些数据主要来自于互联网上已经公开的资源，对于一些实时性的或者非公开的，由于大模型没有获取到相关数据，这部分知识也就无法被掌握。然而，对于企业来说，数据的安全性至关重要，任何形式的数据泄露都可能对企业构成致命的威胁。，它是一个4层的BERT模型，最大输入长度512，输出的向量维度也为512。
“Datawhale AI 夏令营”第四期·大模型应用开发笔记
m0_74097783的博客
08-12 156
通过学习大模型部署、大模型检索增强生成（Retrieval Augmented Generation, RAG）实战、大模型微调实战，掌握大模型应用全栈开发.本假期参与了Datawhale AI 夏令营第四期，主要是对大模型应用开发方向感兴趣。希望在夏令营可以学到更多知识，认识更多小伙伴。跑完Task1，感觉没有想象中那么难，对新手很友好！
书生·浦语大模型全链路开源体系（第二期学员笔记总结）
DizzyOK的博客
05-23 1720
书生·浦语大模型实战营第二期初夏场，记录一下第一节课的视频作业和文档作业。
InternLM2 技术报告——社区翻译版
qq_39967751的博客
04-09 1262
大型语言模型（LLMs）如ChatGPT和GPT-4的发展引发了关于通用人工智能（AGI）来临的讨论。然而，将这样的进步应用到开源模型中一直颇具挑战。本文介绍InternLM2，一个开源的大语言模型，它在6个维度和30个基准的全面评估中超越了其前身，特别是在长序列建模和开放性主观评估方面，通过创新的预训练和优化技术实现了这一突破。InternLM2详细阐述了预训练过程中各类数据的准备，包括文本、代码和长文本数据。
论文高质量翻译：The Claude 3 Model Family: Opus, Sonnet, Haiku Claude 3 模型系列：Opus、Sonnet、Haiku 超越GPT4
数智笔记
03-05 3478
我们介绍了 Claude 3，一个新的大型多模态模型系列——，我们最具能力的产品，，提供了技能和速度的结合，以及，我们速度最快、价格最实惠的模型。所有新模型都具有视觉能力，使其能够处理和分析图像数据。Claude 3 系列在基准评估中表现出色，并在推理、数学和编码等方面树立了新的标准。Claude 3 Opus 在 GPQA[1]、MMLU[2]、MMMU[3] 等评估中取得了最先进的结果。
通俗易懂的LLM（上篇）
qq_39439006的博客
06-06 1万+
2022年年底OpenAI发布ChatGPT，将LLM（Large Language Model）带向了一个新的高度，而2023年OpenAI继续放出大招：更强大的GPT-4问世，引爆了整个互联网圈。在这个大模型时代，作为一名NLPer，持续吸收着层出不穷的新技术，确实有些吃不消。俗话说，好记性不如烂笔头，在此记录下LLM相关技术及进展。顺便说一句，你可以说它不全面，但不能说它不通俗易懂。GPT系列模型详解【LLM系列-01】Language Models are Few-Shot Learners。
LLM大模型测试训练语料数据
03-15
在预训练阶段，LLM 从大量未标记的文本数据中学习广泛的知识，然后将其存储在其模型参数中。它使 LLM 具有一定程度的语言理解和生成能力。预训练语料库可以包含各种类型的文本数据，如网页、学术资料、书籍，同时也...
基于GPT/GLM等LLM大语言模型的论文阅读/润色/写作实用化交互接口设计源码
10-05
该项目为GPT、GLM等大型语言模型设计了实用化的交互接口源码，共包含215个文件，包括132个Python文件、16个Markdown文件、11个YAML文件、9个文本文件、9个...系统支持并行询问多种LLM模型，并兼容ChatGLM3等本地模型。
最全的开源 LLM （大语言模型）整理.zip
09-04
本资源包“最全的开源 LLM （大语言模型）整理.zip”是关于开源大语言模型的一个综合集合，涵盖了多个知名的项目，帮助开发者和研究人员更好地了解和利用这些先进的技术。 【描述】: 这个压缩包包含了一个名为...
[论文笔记] LLM端侧小模型篇——1、剪枝量化的latency
心宝的博客
09-13 201
MLC-LLM：编译器方式推理，跨平台可用推理框架。
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1076
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
线性判别器LDA
qq_52421831的博客
10-10 1201
LDA是一种有监督的降维方法，和它比较类似的是PCA(一种无监督的降维方法)
2 机器学习之基本术语
此博客内容主要是小可日常工作中的一些问题解决的记录整理而成
10-11 624
这组记录的集合称为一个“数据集”(data set)，其中每条记录是关于一个事件或对象（这里是一个西瓜）的描述，称为一个“示例”(instance)或“样本”(sample)反映事件或对象在某方面的表现或性质的事项，例如“色泽”​“根蒂”​“敲声”​，称为“属性”(attribute)或“特征”(feature)；xid)是d维样本空间中的一个向量，xi∈，其中xij是xi在第j个属性上的取值（例如上述第3个西瓜在第2个属性上的值是“硬挺”​）​，d称为样本xi的“维数”(dimensionality)。
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution
qq_53536373的博客
10-13 273
论文创新点，将注意力机制 和卷积 相结合。
骨架提取（持续更新）
最新发布
xiongmaowangd的博客
10-13 447
骨架提取是图像处理或计算机视觉中的一种技术，用于从二值化图像中提取物体的中心线或轮廓，通常称为“骨架”或“细化图像”。这一技术主要用于简化形状表示，同时保留物体的拓扑结构。这里我们强调了，是对二值化图像中进行提取。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值