深度学习
文章平均质量分 87
九点澡堂子
这个作者很懒,什么都没留下…
展开
-
2021-06-15
听说堂妹用AI技术给自己改头换面?本文章同步更新在个人微信公众号“九点澡堂子”,原创:九点澡堂子各位客官好,我是堂妹。 大家知道,我现在的文章封面基本都是自己的照骗,还是不露正脸的那种。 俗称"背影杀手"。 一般这样的,没有别的原因,就是因为丑,起码对于我这样。 当然,我不仅因为丑,还因为手残。 作为程序媛,我属于化妆上班那一趴, 但基本仅限于粉底、口红、眉毛,顶多加个腮红????♀️。 十年如一日,没有任何花样。 再看看我身边的学公关、艺术、人文等专业的女朋友们,原创 2021-06-16 00:19:15 · 391 阅读 · 0 评论 -
深度学习分布式训练DP、DDP通信原理
日常在「九点澡堂子」裸泳,欢迎关注 ~前言上周末开始写这篇文章,一度以为自己快要写完了。写着写着发现参考资料有点争议,下文讲到的PS架构的实现在网络上说法不一。鉴于是一个快要被淘汰的方案, Parrots里直接省略了该实现,所以堂妹对它背后的实现确实不太清楚。本着传播知识的良知,不敢造次,查了很多资料,发现众说纷纭。涉及上层模型的搭建场景,众所周知(假装),堂妹接触底层多一些,于是乎,堂妹拉着贵司的研究员们一起探讨这个问题,毕竟他们模型搭的多。凌晨2点,大佬依然在线…大概是现代人的标配吧原创 2021-04-23 11:05:41 · 2363 阅读 · 3 评论 -
Pytorch分布式训练DataParallel和DistributedDataParallel详解
最近工作涉及到修改分布式训练代码,以前半懂非懂,这次改的时候漏了一些细节,带来不必要的麻烦,索性花点时间搞明白。Pytorch 分布式训练主要有两种方式:torch.nn.DataParallel ==> 简称 DPtorch.nn.parallel.DistributedDataParallel ==> 简称DDP其中 DP 只用于单机多卡,DDP 可以用于单机多卡也可用于多...原创 2020-04-18 23:12:32 · 12307 阅读 · 12 评论