xcpg13的博客

原创 使用ddp进行训练和预测

另外我比较注重流程的正确性，不想代码能跑就完事，这里写写相关步骤和推理过程，希望以后不要忘掉。前256个数发现是1,5,9...,253,2,6,10,..,254,3,7,...,255,4,8,..,256。也就是说，ddp预测的结果，在一个batchsize*nproc的序列中，依次取数据到显卡上，直到每个显卡取满batchsize。把这个数据输入的预测中的数据集中，保存再print出来。保存用.module.。loader和sampler，用分布式的模块，每次epoch重新设定sampler。