[论文笔记] pai-megatron-patch tokenize很慢的问题解决

最新推荐文章于 2024-11-16 21:22:28 发布
最新推荐文章于 2024-11-16 21:22:28 发布
阅读量77 收藏
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/trance95/article/details/140254550
版权
心心喵
关注
专栏目录
订阅专栏
[论文笔记] pai-megatron-patch 环境安装
心宝的博客
07-26 185
还需要安装 flash-attn2.5、transformer-engine。除了官方repo中的requirement.txt。
[论文笔记] pai-megatron-patch Qwen2 tokenize代码踩坑
心宝的博客
06-17 221
【代码】[论文笔记] pai-megatron-patch tokenize代码踩坑。
Torchtext中使用spaCy作为Tokenizer加载IMDB数据集速度太慢的问题
weixin_43390599的博客
05-17 817
https://github.com/pytorch/text/issues/481 这个issue提到了，我这边的解决方法是把语言模型换成小的 # tokenizer_language 使用sm大小，要不然加载IMDB用时太久！ TEXT = data.Field(tokenize = 'spacy', tokenizer_language = 'en_core_web_sm', include_lengths = True) LA
Tokenizers 安装失败，解决办法，降低python版本
xrwei007的博客
11-13 926
如题，在安装gpt_academic工具时出现tokenizers 无法编译的问题。所以，python中安装软件不成功，可能就是版本不支持。最终认为可能是python3.12版本太新，不支持。因此将python 版本降低到python3.10.并且提示，没有安装rust，cargo编译器。根据提示，安装rust后，发现依旧无法编译。结果一次性编译成功！
python tokenizer_Python中速度最快，最完整/可自定义的tokenizer
weixin_39640646的博客
12-08 497
tok Fast and most complete/customizable tokenizer in Python.It is roughly 25x faster than spacy's and nltk's regex based tokenizers.Using the aho-corasick algorithm makes it a novelty and allows it t...
[论文笔记] pai-megatron-patch megatron 模型接着训练 继续训练 load checkpoint
心宝的博客
07-02 184
其中 checkpoint_path 中的 last_iteration_txt (好像是这个名字) 要改成自己需要的。继续训练的话，不要用megatron的检查点转换回hf模型。要直接 load megatron模型。
pai-megatron-patch 教程
gitblog_00461的博客
08-07 885
pai-megatron-patch 教程 Pai-Megatron-PatchThe official repo of Pai-Megatron-Patch for LLM & VLM large scale training developed by Alibaba Cloud.项目地址:https://gitcode.com/gh_mirrors/pa/Pai-Megatron-Patch...
Pai-Megatron-Patch 教程
gitblog_00789的博客
08-07 464
Pai-Megatron-Patch 教程 Pai-Megatron-PatchThe official repo of Pai-Megatron-Patch for LLM & VLM large scale training developed by Alibaba Cloud.项目地址:https://gitcode.com/gh_mirrors/pa/Pai-Megatron-Patch...
[论文笔记] pai-megatron-patch Qwen2系列后预训练 踩坑记录 包括长文本（Qwen2-72B/7B/1.5B）
心宝的博客
07-03 1013
经过以下修改，Qwen2-72B-CT可以正常训练，并且benchmark指标和loss正常。
【论文阅读】HITS: High-coverage LLM-based Unit Test Generation via Method Slicing
网络空间安全|人工智能|计算机科学
11-14 857
本文提出了一种基于LLM的单元测试生成方法，通过将复杂方法分解为多个切片，并让LLM逐片生成测试用例。静态分析：收集被测方法的依赖信息，以便LLM理解其使用和结构。链式思维技术：指导LLM按照解决问题的步骤分解被测方法。生成测试用例：针对每个切片生成一个单元测试类，覆盖所有行和分支。修复不可执行测试：对不可执行的测试进行修复。通过静态分析获取被测方法的上下文信息，包括依赖类、字段和方法声明。这些信息作为LLM的提示前缀。
论文笔记（五十六）VIPose: Real-time Visual-Inertial 6D Object Pose Tracking
xzs1210652636的博客
11-14 978
估计物体的6D姿态对于运输、自动导航、操纵等机器人任务非常有益，同时在虚拟现实和增强现实等超越传统机器人的场景中也同样重要。相对于单张图片的姿态估计，姿态跟踪考虑了跨多个帧的时间信息，以克服可能的检测不一致并提高姿态估计的效率。在这项工作中，我们介绍了一种名为VIPose的新型深度神经网络（DNN），该网络结合惯性和摄像机数据来实时解决物体姿态跟踪问题。主要贡献是设计了一种新型的DNN架构，该架构融合视觉和惯性特征来预测连续图像帧之间物体的相对6D姿态。然后通过连续组合相对姿态来估计总体的6D姿态。
论文笔记 SuDORMRF：EFFICIENT NETWORKS FOR UNIVERSAL AUDIO SOURCE SEPARATION
qq_43349296的博客
11-13 671
相比于常规卷积，可以减少参数和计算量。1×1我们以input feature map shape为12123∈RH×W×C，卷积核shape为553∈Rkh​×kw​×C, stride = 1, padding = 0，卷积核数量为256（输出通道数为256），output feature map shape为[8,8,256]的情况为例。
【论文阅读】主动推理：作为感知行为的理论
ffffflk的博客
11-12 1141
主动推理综述
论文阅读《BEVFormer v2》
YMWM_的博客
11-12 712
我们提出了一种具有透视监督的新型鸟瞰图（BEV）检测器，其收敛速度更快并且更适合现代图像主干。现有的最先进的BEV检测器通常与某些深度预训练主干网络（如VoVNet）相关联，从而阻碍了蓬勃发展的图像主干网络和BEV检测器之间的协同作用。为了解决这一限制，我们优先通过引入透视图监督来简化BEV检测器的优化。为此，我们提出了一个两阶段BEV检测器，其中来自透视头的提议被输入到鸟瞰头中进行最终预测。为了评估我们模型的有效性，我们进行了广泛的消融研究，重点关注监督形式和所提出的检测器的通用性。
【论文阅读】Virtual Compiler Is All You Need For Assembly Code Search
网络空间安全|人工智能|计算机科学
11-12 794
数据集构建：编译了来自Ubuntu的6000多个C/C++软件包，生成源代码与汇编代码的对应关系。模型训练：基于CodeLlama模型，通过监督微调使其具备编译能力。增强数据集：利用虚拟编译器生成的汇编代码数据集来训练汇编代码编码器，以改进代码搜索模型。
【论文笔记】SCOPE: Sign Language Contextual Processing with Embedding from LLMs
小嗷犬的博客
11-16 876
手语，全球约7000万聋人使用，是一种视觉语言，传达视觉和语境信息。基于视觉的手语识别（SLR）和翻译（SLT）的当前方法由于数据集多样性有限和忽略语境相关信息，在对话场景中存在困难。为了解决这些挑战，我们引入了SCOPE（基于LLM嵌入的手语语境处理），这是一种新颖的语境感知视觉SLR和SLT框架。对于SLR，我们通过多模态编码器利用对话语境来增强Gloss级识别。对于随后的SLT，我们通过结合先前的对话语境进一步微调大型语言模型（LLM）。
【代码大模型】Compressing Pre-trained Models of Code into 3 MB论文阅读
最新发布
hhhhhzl的博客
11-16 943
Compressing Pre-trained Models of Code into 3 MB论文阅读笔记
【论文笔记】Towards Privacy-Aware Sign Language Translation at Scale
小嗷犬的博客
11-16 1214
主要阻碍手语翻译（SLT）进步的因素是数据稀缺。目前网络上可用的手语数据中，很大一部分由于缺乏对齐字幕，无法用于训练监督模型。此外，使用大规模网络爬取的数据集进行SLT扩展存在隐私风险，因为其中包含生物识别信息，而SLT技术的负责任开发应考虑到这一点。在本研究中，我们提出了一种两阶段框架，用于大规模隐私感知SLT，以解决这两个问题。我们引入了SSVP-SLT，该系统利用匿名和无标注视频上的自监督视频预训练，随后在精心挑选的并行数据集上进行监督SLT微调。
论文阅读《Neural Map Prior for Autonomous Driving》
YMWM_的博客
11-15 1179
高精（HD）语义地图对于在城市环境中行驶的自动驾驶汽车至关重要。传统的离线高精地图是通过劳动密集型的手动标注创建的，不仅成本高昂，而且无法及时更新。最近，研究人员提出根据在线传感器观测来推断局部地图；然而，这种方法受到传感器感知范围的限制，并且容易受到遮挡。在这项工作中，我们提出了神经地图先验（NMP），一种全局地图的神经表示，有助于自动更新全局地图并提高局部地图推理性能。为了将强地图先验纳入局部地图推理，我们采用交叉注意力来动态捕捉当前特征和先验特征之间的相关性。
PAI-Megatron-Patch: 集群训练大规模语言模型的关键技术
总结起来，PAI-Megatron-Patch是阿里云为大规模语言模型训练打造的全面解决方案，它涵盖了从数据预处理到模型训练、优化、压缩的全过程，并通过先进的调度和计算加速技术，实现了高效、高质量的集群训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值