[论文笔记] pai-megatron-patch Qwen2-72B/7B/1.5B 长文本探路

已于 2024-07-22 15:54:42 修改
阅读量1.5k 收藏
点赞数 10
分类专栏： 论文笔记 文章标签： 论文阅读
于 2024-07-19 17:26:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/140554862
版权

[论文笔记] Pai-megatron-patch cpu-offload 改到 Qwen2-CSDN博客

Pai-Megatron-Patch (mcore代码)

长文本限制：

开SP之后，72B能开到16K，7B能开到32K。

但是72B开16K，或者7B开32K时，如果训练时训练样本中有长文本的话，则还是会OOM。

code：

相对于原repo加了一些代码适配性的问题。 

Release tokenize code update · Carrie-Yi/pai-megatron-patch-xin · GitHub

解决方案：

1、cpu-offload

这个repo中给Qwen2-CT改了yarn和cpu-offload，但是还没测试

了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
  • 10
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
PAI-Megatron-Patch：灵骏集群训练 LLMs.pdf
01-25
PAI-Megatron-Patch：灵骏集群训练 LLMs.pdf PAI-Megatron-Patch 是一个灵骏集群训练大语言模型（LLMs）的解决方案，旨在提供高性能、可扩展的训练平台。下面是从标题、描述、标签和部分内容中生成的相关知识点： ...
[论文笔记] Pai-megatron 细节解读之self.jitter_noise参数 （防止过拟合）
心宝的博客
04-25 510
此代码段是MoE（Mixture of Experts）模型中的一个特定部分，用于在训练过程中为隐藏状态引入随机性，这通常被称为抖动（jitter）或噪声。，从而使得原始的隐藏状态各值随机地增加或减小。这是一种正则化技术，目的是使模型不会对训练数据中存在的微小波动过于敏感，从而可能在泛化到新数据时表现得更好。总体来看，这个抖动机制在训练过程中为隐藏状态添加了随机噪声，以减轻模型的过拟合，并提高泛化能力。只有在这两个条件都满足时，才会将噪声添加到隐藏状态中。是一个标志，如果模型在训练中为。
一文讲透大模型 Qwen2 的训练与推理
2401_84033492的博客
06-29 1941
通义千问最近问鼎开源模型Top 1 ，今天我来分享一下Qwen2系列模型，Qwen2系列模型是Qwen1.5系列模型的重大升级。包括了：5个尺⼨的预训练和指令微调模型, 包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B；在中⽂英语的基础上，训练数据中增加了27种语⾔相关的⾼质量数据；多个评测基准上的领先表现；代码和数学能⼒显著提升；增⼤了上下⽂⻓度⽀持，最⾼达到128K tokens（Qwen2-72B-Instruct）。
PAI-ChatLearn 灵活易用大规模RLHF高训练框架.pdf
01-25
PAI-ChatLearn灵活易用大规模RLHF高训练框架 PAI-ChatLearn是基于Reinforcement Learning from Human Feedback（RLHF）的灵活易用大规模训练框架，旨在实现高效、灵活和可扩展的聊天机器人训练。该框架将RLHF技术与...
VoiceFilter-by-Megatron3000ultraSkill:ML Skoltech最终项目
03-11
Megatron3000ultraSkill的VoiceFilter 这是Skoltech ML最终项目，致力于 将一位发言人的声音与噪音和其他声音分开 从背景噪音中消除说话者的声音 任务 复制的结果 分析过滤后的音频样本是否提高了语音识别的质量 ...
Python-大规模transformer语言模型包括BERT
08-10
在文件名“NVIDIA-Megatron-LM-fb4cbdc”中，NVIDIA-Megatron-LM是一个开源项目，旨在支持高效、可扩展的Transformer模型训练。它结合了模型并行和数据并行策略，允许在大规模GPU集群上训练数亿参数的模型。fb4cbdc...
geostudio-quake模块
04-07
2、视频文件包中包括一个 *.html 文件和一个 *.swf 文件。 3、直接打开 *.html 文件就可以观看视频教程(可以用IE直接打开)。 4、视频观看过程中可以随时进行暂停、拖放等操作。 5、所有视频文件同时会在 ...
ESVC论文笔记
weixin_46103454的博客
08-15 930
虽然SVC在自然度和相似度方面都取得了很好的效果,但音频中除了歌手身份之外,情感表达也是传递歌手感情和态度的必要条件，现有的模型在情感表达上还有待提升。歌曲的情感元素与歌手的身份是非常纠结的,所以加强一个可能会削弱另一个，导致整体表现力的缺乏。因此，有必要引入身份聚类损失来抵消情感聚类带来的身份偏见。
论文阅读笔记：ST-MetaNet-2
2301_79335566的博客
08-14 1279
城市交通记为一个向量,其中表示在时间t所有位置的交通流量信息。Geo-graoh属性代表位置周围的环境以及其相互关系，分别对应节点属性和边属性。形式上，使图G=（V，E）代表一个有向图，V和E分别是表示该位置特征和表示位置间联系的向量列表。此外，我们使用Ni来表示节点i的邻居。
VIT论文阅读： A Image is Worth 16x16 Words
最新发布
qq_19859865的博客
08-18 299
在2024年，大家都知道了transformer的故事，但是在4年前, CNN和Transformer谁才是CV的未来，还没有那么确定。在简介部分，作者提到了一个令人失望的事实，在基于imagenet的实验中发现，transformer的表现差于同尺寸的ResNet。作者把原因归结到bias translation equivariance and locality，这些CNN具有，但是transformer不具有的特性上。如下图【1】
FASTSPEECH 2论文阅读
weixin_46103454的博客
08-16 818
非自回归模型可以在质量相当的情况下显著快于先前的自回归模型合成模型。但FastSpeech模型训练依赖与自回归教师模型进行时长预测（提供更多的信息作为输入）和知识蒸馏（简化输出中的数据分布），可以缓解一对多的映射问题1、存在问题因为由于语音的变化，如音高、时长、音量和韵律等，多个可能的语音序列可以对应一个文本序列。在非自回归TTS中，仅有的输入信息是文本，不足以完全预测语音的方差。在这种情况下，模型容易对训练集中目标语音的变化产生过拟合，导致泛化能力较差。归根结底还是一对多的映射问题。
【论文阅读】HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs
li_li_rui的专栏
08-16 630
实验结果表明，HuatuoGPT-II在多项医学基准测试和专业考试中表现出色，特别是在中国医疗领域，如在2023年新鲜的中国国家药师资格考试中，HuatuoGPT-II不仅在中医方面有显著优势，而且整体上接近或超过专有模型ERNIE Bot，显示了其在复杂医疗情境中的强大应用能力。综上所述，HuatuoGPT-II通过创新的训练方法和优化的数据处理策略，在医疗领域的专业知识学习和应用方面展现了显著成效，特别是在传统中医知识的处理上。
【LLM之RAG】GraphRAG论文阅读笔记
<p>专注挖坑</p>
08-14 1040
本文探讨了大型语言模型（LLM）如何通过从外部知识源检索相关信息来回答关于私有或之前未见过的文档集合的问题。特别指出，传统的检索增强生成（RAG）系统在处理全局问题时存在局限性，例如问整个文本语料库的主题是什么，因为这些问题本质上是查询焦点的摘要（QFS）任务，而不仅仅是一个显式的检索任务。
【论文阅读03】用于海洋物体检测的多注意力路径聚合网络
weixin_45037690的博客
08-15 737
算法利用Darknet作为主干网络从输入图像中提取特征。Darknet具有网络结构轻量化和适合实时检测的优点。1.注意力机制：注意力机制能够帮助模型更加专注于图像中的关键区域，从而提高目标检测的准确性和效率。2.DCP经典去雾用于图像增强3.变小是下采样 ，变大是上采样上采样（Upsampling）是将低分辨率的图像或特征图放大至高分辨率的过程。下采样（Downsampling）则是将高分辨率的图像或特征图降低至低分辨率的过程。4.FPN和PAN的内容及区别（修改版1.2）-CSDN博客。
[论文笔记]ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
日积月累，天道酬勤
08-15 1058
⭐ 主要介绍了DeepSpeed框架用到的零冗余优化器(ZeRO)技术，使得训练万亿级别参数的大模型成为了可能。通过ZeRO-DP优化模型状态，通过ZeRO-R优化剩余状态。
神经串联式语音转换:对基于串联的单次语音转换方法的再思考 论文笔记
weixin_46103454的博客
08-15 707
在any-to-any的转换中,由于内容和说话人音色的解耦不足,导致源说话人的音色部分仍保留在转换后的音频中，影响了音频质量和转换效果。
论文阅读:Anchored Densest Subgraph
m0_62361730的博客
08-15 1032
在图论的研究领域中，子图搜索是一个至关重要的问题。随着数据规模的增长和複杂性的增加，如何在大型图中有效地发现具有特定性质的子图，已成为社交网络分析、推荐系统以及其他图数据处理领域中的核心挑战。密子图搜索（Densest Subgraph Search）是其中一个关键的问题，旨在找出图中密度最高的子图，即平均度数最大的子图。这些子图通常代表了图中高度连接的节点集合，对于社群发现、垃圾链接识别、专家提取等应用场景具有重要价值。
论文阅读:一种基于凸规划的高效有向最密子图发现方法 | SIGMOD 2022
m0_62361730的博客
08-13 1074
这篇论文的主题是研究如何在有向图中找到密度最高的子图，这个问题被称为有向最密子图（Directed Densest Subgraph, DDS）问题。该问题在许多应用中非常重要，如社交网络分析、社区发现、假粉丝检测等。论文提出了一种基于**凸规划（Convex Programming）**的方法来有效解决DDS问题，并设计了精确和近似算法，这些算法能够在大规模数据集上实现显着的性能提升。DDS问题的目标是在一个给定的有向图中找到一个子图，使其密度在所有子图中是最高的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值