paddle
文章平均质量分 88
FesianXu
腾讯-微信事业群-高级算法工程师, 百度-搜索策略部-前高级算法工程师。 主要从事多模态检索、视频检索、信息检索,大模型落地应用等领域工作。
展开
-
万字长文详解静态图和动态图中的自动求导机制
万字长文详解静态图和动态图中的自动求导机制原创 2022-09-11 10:09:07 · 732 阅读 · 0 评论 -
浅论分布式训练中的recompute机制
分布式训练中的重计算机制,一个小注意点原创 2022-06-12 08:47:01 · 991 阅读 · 3 评论 -
【工程实践系列】在paddle数据加载器中返回URL或者其他文本信息
paddle Dataloader里面传递字符串原创 2022-06-02 08:03:34 · 672 阅读 · 0 评论 -
集群深度学习训练实践笔记——高性能分布式多任务数据读取
高性能的分布式多任务数据读取方式原创 2022-04-07 21:22:03 · 601 阅读 · 0 评论 -
Paddle静态图训练时在线验证
Paddle静态图训练时在线验证 FesianXu 20220312 at Baidu Search Team前言在使用paddle静态图进行模型训练的时候,可以同时进行在线模型验证,实现自动化的最优checkpoint挑选。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明并且联系笔者,谢谢。∇\nabla∇ 联系方式:e-mail: FesianXu@gmail.comgithub: https://github.com/FesianX.原创 2022-03-12 21:40:14 · 4929 阅读 · 0 评论 -
集群深度学习训练实践笔记——多进程Dataset设计
集群深度学习训练实践笔记——多进程Dataset设计 FesianXu 20211105 at Baidu Search Team前言之前在[1]中曾经讨论过在集群中分布式训练大型模型需要一些特别的分布式数据加载器设计,文章最后还讨论了由于分布式多机多卡训练过程中,某个trainer由于数据读取,将会导致其他所有trainer阻塞等待,造成了很大的计算资源浪费的情况。本文针对这种情况,提出一种基于多进程的解法。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原...原创 2021-11-05 22:40:15 · 522 阅读 · 0 评论 -
集群深度学习训练实践笔记——分布式数据读取器
集群深度学习训练实践笔记——分布式数据读取器 FesianXu 20211104 at Baidu Search Team前言本文主要作为笔者在分布式集群中训练深度学习模型,特别是一些大规模模型和在海量数据下的训练的经验,本文实践以paddle 2.1为例,包括paddle 动态图和静态图的使用等。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明并且联系笔者,谢谢。∇\nabla∇ 联系方式:e-mail: FesianXu@gmail...原创 2021-11-04 17:21:40 · 1481 阅读 · 0 评论