pytorch
Feynman1999
理论都是灰色的,而生活之树常青^_^
展开
-
[pytorch03]DDP每一步做了什么
文章目录DISTRIBUTED DATA PARALLELExampleInternal DesignImplementationDISTRIBUTED DATA PARALLELtorch.nn.parallel.DistributedDataParallel (DDP) transparently performs distributed data parallel training. This page describes how it works and reveals implementati原创 2020-07-20 09:49:51 · 1008 阅读 · 0 评论 -
[pytorch02]开始使用DISTRIBUTED DATA PARALLEL
文章目录开始使用DISTRIBUTED DATA PARALLELComparison between `DataParallel` and `DistributedDataParallel`Basic Use CaseSkewed Processing SpeedsSave and Load CheckpointsCombine DDP with Model Parallelism开始使用DISTRIBUTED DATA PARALLELApplications using DDP should sp原创 2020-07-20 09:47:38 · 642 阅读 · 0 评论 -
[pytorch01]用pytorch写分布式应用
文章目录WRITING DISTRIBUTED APPLICATIONS WITH PYTORCHSetupPoint-to-Point CommunicationCollective CommunicationDistributed TrainingOur Own Ring-AllreduceAdvanced TopicsCommunication BackendsInitialization MethodsWRITING DISTRIBUTED APPLICATIONS WITH PYTORCHIn原创 2020-07-20 09:46:23 · 1187 阅读 · 0 评论 -
[pytorch00]模型并行在单机上的最佳实践
文章目录模型并行在单机上的最佳实践基本用法对现有的模型进行并行通过pipelining inputs进行加速模型并行在单机上的最佳实践 模型并行在分布式训练技术中被广泛使用。之前的文章已经解释了如何使用DataParallel训练多个gpu上的神经网络;该方法将相同的模型复制到所有GPU,其中每个GPU处理splited后的输入数据。虽然它可以显著地加速训练过程,但它在某些情况下无法工作,因为模型太大,无法装入一个GPU中(如数个G甚至十几个G时)。这篇文章展示了如何通过使用**模型并行(Model原创 2020-07-20 09:44:23 · 516 阅读 · 0 评论