PyTorch分布式数据加载学习 DistributedSampler
DistributedSampler 使用当前的epoch作为随机数种子,在计算index之前就进行配置,从而保证不同进程都使用同样的随机数种子。的随机排列的整数序列。这个函数是非常有用的,尤其是在需要随机打乱数据或索引时,比如在训练机器学习模型时打乱数据顺序,以确保模型训练的泛化能力。规定了每个rank的取数据的索引,起始索引是rank,每间隔num_replicas取一个。,这样shuffle出来的数据就能确保一致。如果不drop_last,那就。在 PyTorch 中,
原创
2024-10-04 16:41:55 ·
283 阅读 ·
0 评论