[论文笔记] pai-megatron-patch Qwen2-72B-CT 后预训练 踩坑记录 包括长文本

已于 2024-07-18 14:21:54 修改
阅读量730 收藏
点赞数 23
分类专栏： 论文笔记 文章标签： 论文阅读
于 2024-07-03 15:37:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/140152003
版权

经过以下修改，Qwen2-72B-CT可以正常训练，并且benchmark指标和loss正常。

Qwen2-72B-CT开长文本，256卡，16K会OOM，目前能开11K(11008)。

后面开了SP，能开到16K（tp8pp8）。

[论文笔记] Pai-megatron Qwen1.5-14B-CT 后预训练 踩坑记录_pai-megatron-patch 多机-CSDN博客

[论文笔记] pai-megatron-patch Qwen2 tokenize代码踩坑-CSDN博客

一、改动

1、模型加载：strict=False

vim ./PAI-Megatron-Patch/Megatron-LM-240405/megatron/training/checkpointing.py

vim /mnt/cpfs/kexin/dlc_code/qwen2/moe/Pai-Megatron-Patch/Megatron-LM-240612/megatron/training/checkpointing.py

在716行，改掉strict = False。

2、Tokenize支持多级目录

了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
  • 23
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
[论文笔记] PAI-Megatron 1、Qwen continuing pretrain(CT)千问预训练
心宝的博客
01-16 808
数据情况：预训练数据已经用qwen-tokenizer分过词。所以不需要准备数据。如果需没有数据，也可以从Pai-Megatron上拉数据。克隆Pai-Megatron-Patch源代码并拷贝到工作目录/mnt/workspace/下。注意：EXTRA_VOCAB_SIZE，7B使用85，14B和72B模型使用213。目标：使用qwen基座来做CT。
[论文笔记] pai-megatron-patch megatron 模型接着训练 继续训练
心宝的博客
07-02 41
其中 checkpoint_path 中的 last_iteration_txt (好像是这个名字) 要改成自己需要的。继续训练的话，不要用megatron的检查点转换回hf模型。要直接 load megatron模型。
一文讲透大模型 Qwen2 的训练与推理
2401_84033492的博客
06-29 1467
通义千问最近问鼎开源模型Top 1 ，今天我来分享一下Qwen2系列模型，Qwen2系列模型是Qwen1.5系列模型的重大升级。包括了：5个尺⼨的预训练和指令微调模型, 包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B；在中⽂英语的基础上，训练数据中增加了27种语⾔相关的⾼质量数据；多个评测基准上的领先表现；代码和数学能⼒显著提升；增⼤了上下⽂⻓度⽀持，最⾼达到128K tokens（Qwen2-72B-Instruct）。
[论文笔记] pai-megatron-patch Qwen2-57B(A14B)-CT 后预训练 踩坑记录
心宝的博客
07-04 408
【代码】[论文笔记] pai-megatron-patch Qwen2-57B(A14B)-CT 后预训练 踩坑记录。
【Qwen模型】QWEN TECHNICAL REPORT
十一月廿七风雨大作
04-19 2901
在阅读了本篇论文和`transformers`库里面的`Qwen2Model`源码之后，我观察到模型用的组件tricks有RoPE（苏剑林提出）、RMSNorm、SwiGLU、SdpaAttention等等；
深度学习训练时网络不收敛的原因分析总结
qfikh的博客
05-09 7389
很多同学会发现，为什么我训练网络的时候loss一直居高不下或者准确度时高时低，震荡趋势，一会到11，一会又0.1，不收敛。 又不知如何解决，博主总结了自己训练经验和看到的一些方法。 首先你要保证训练的次数够多，不要以为一百两百次就会一直loss下降或者准确率一直提高，会有一点震荡的。只要总体收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，则试试下面方法： 1. 数据侧： 数据归一化 神经网络中对数据进行归一化是不可忽略的步骤，网络能不能正常工作，还得看你有没有做归一化，一般
[论文笔记] Pai-megatron Qwen1.5-14B-CT 后预训练 踩坑记录
心宝的博客
04-12 329
lm loss: 1.515231E+01，初始loss为15，之前遇到过这种问题，检查了模型load进来了，是因为那个rope没设置对导致的，模型权重没问题。最终归因到 run_pretrain_mcore_qwen.sh 中关于位置编码的参数有问题。改完之后能跑，但是loss太高。
[论文笔记] pai-megatron-patch Qwen2 tokenize代码踩坑
心宝的博客
06-17 119
【代码】[论文笔记] pai-megatron-patch tokenize代码踩坑。
PAI-Megatron-Patch：灵骏集群训练 LLMs.pdf
01-25
PAI-Megatron-Patch：灵骏集群训练 LLMs.pdf PAI-Megatron-Patch 是一个灵骏集群训练大语言模型（LLMs）的解决方案，旨在提供高性能、可扩展的训练平台。下面是从标题、描述、标签和部分内容中生成的相关知识点： ...
PAI-ChatLearn 灵活易用大规模RLHF高训练框架.pdf
01-25
PAI-ChatLearn灵活易用大规模RLHF高训练框架 PAI-ChatLearn是基于Reinforcement Learning from Human Feedback（RLHF）的灵活易用大规模训练框架，旨在实现高效、灵活和可扩展的聊天机器人训练。该框架将RLHF技术与...
Python-大规模transformer语言模型包括BERT
08-10
标题中的“Python-大规模transformer语言模型包括BERT”指出我们将探讨使用Python编程语言构建和训练大规模Transformer语言模型，其中特别提到了BERT模型。Transformer模型是由Google在2017年提出的一种深度学习架构...
gpt-neox:基于DeepSpeed库的GPU上类似于GPT-3的模型并行模型的实现。 设计成能够训练数千亿甚至更大参数的模型
03-08
GPT-NeoX 该存储库记录了正在进行的用于训练大规模GPU语言模型的工作。 我们当前的框架基于NVIDIA的，并通过技术以及一些新颖的优化功能得到了增强。 如果您正在寻找我们的TPU代码库，请参阅 。 GPT-NeoX正在积极...
VoiceFilter-by-Megatron3000ultraSkill:ML Skoltech最终项目
03-11
Megatron3000ultraSkill的VoiceFilter 这是Skoltech ML最终项目，致力于 将一位发言人的声音与噪音和其他声音分开 从背景噪音中消除说话者的声音 任务 复制的结果 分析过滤后的音频样本是否提高了语音识别的质量 ...
【论文阅读】Mamba: Linear-Time Sequence Modeling with Selective State Spaces
最新发布
kanon的博客
07-19 866
Mamba模型基于Transformer架构，旨在解决传统Transformer在长序列上的计算效率问题。通过引入选择性状态空间SSMs（Selective State Spaces），Mamba能够在保持线性时间复杂度的同时，实现与Transformer相媲美的性能。首先，简单地让SSM参数成为输入的函数，解决了它们在离散模态方面的弱点，允许模型根据当前令牌选择性地沿序列长度维度传播或忘记信息。其次，尽管这一变化阻碍了高效卷积的使用，但在循环模式下设计了一种硬件感知的并行算法。
《Towards Black-Box Membership Inference Attack for Diffusion Models》论文笔记
qq_41904729的博客
07-18 1056
识别艺术品是否用于训练扩散模型的挑战，重点是人工智能生成的艺术品中的成员推断攻击——copyright protection不需要访问内部模型组件的新型黑盒攻击方法展示了在评估 DALL-E 生成的数据集方面的卓越性能。xVθxtxVθ​xt细节如下：xxx加噪变为xtx_txt​，再通过DDIM连续降噪变为x\hat{x}xintuitioninXtXt2−∇xlog⁡pXtdWtt∈0T(3)Xt​。
【论文阅读笔记】Attention Is All You Need
pursuit的博客
07-17 848
Transformer的成功不仅在于其高效的信息传递路径，还在于其能够在更大范围内捕捉和利用序列中的关联信息，从而提升了序列建模任务的性能和效果。在Transformer中的位置编码使用了sin函数和cos函数，这种方法不同于传统的学习得到的位置嵌入，而是采用固定的函数形式，即。是序列处理模型中的基本思想。注意力机制就是对一系列的query和一系列的key-value对，我们需要确定对于每个query而言不同 value 的重要程度，而这个权重是根据 query 和key 的相关度计算得到的。
[论文笔记] pai-megatron-patch Qwen2-CT 长文本rope改yarn
心宝的博客
07-18 412
【代码】[论文笔记] pai-megatron-patch Qwen2-CT 长文本rope改yarn。
VAE论文阅读
HGGshiwo的博客
07-17 1138
其实有了概率密度，可以直接在里面采样。这里是推导过程，大家都这么写。在实际操作的时候，所有的p都会变成一个已知的分布，否则无法计算的。pθx一些公式p_\theta(x) = 一些公式pθ​x一些公式这些公式计算后发现是一个高斯分布NμσNμσxμσεxμσε其中ϵ\epsilonϵ是随机采样的噪声。所以说，两种形式必须都能看懂才行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值