深度学习进阶技
文章平均质量分 81
以pytorch为框架,介绍深度学习领域的加速方法,性能提升策略以及优雅系统实践等知识
cwpeng.cn
某大厂算法研究员,大型竞赛一等奖获得者,技术书籍作者,终身学习者。接受付费咨询,包括职业方向,论文与代码指导等,努力成为价值创造者。
展开
-
Pytorch分布式训练
用单机单卡训练模型的时代已经过去,单机多卡已经成为主流配置。如何最大化发挥多卡的作用呢?本文介绍Pytorch中的DistributedDataParallel方法。原创 2022-07-14 22:55:46 · 500 阅读 · 1 评论 -
【炼丹Trick】EMA的原理与实现
在进行深度学习训练时,同一模型往往可以训练出不同的效果,这就是炼丹这件事的玄学所在。使用一些trick能够让你更容易追上目前SOTA的效果,一些流行的开源代码中已经集成了不少trick,值得学习一番。本节介绍EMA这一方法。...原创 2022-07-10 11:06:36 · 433 阅读 · 0 评论 -
Pytorch注册器机制Registry
在众多深度学习开源库的代码中经常出现Registry代码块,例如OpenMMlab,facebookresearch和BasicSR中都使用了注册器机制。这块的代码经常会让新使用这些库的初学者感到一头雾水,本篇博客来分析一下注册器机制的原理与好处。............原创 2022-07-04 23:37:28 · 1617 阅读 · 1 评论 -
Pytorch Dataloader加速
在进行多卡训练的时候,经常会出现GPU利用率上不来的情况,无法发挥硬件的最大实力。 造成这种现象最有可能的原因是,CPU生成数据的能力,已经跟不上GPU处理数据的能力。那么如何解决这一问题呢?...原创 2022-07-04 23:34:27 · 1525 阅读 · 2 评论