- 博客(1)
- 收藏
- 关注
RSS订阅原创 PyTorch DistributedDataParallel使用小结
PyTorch DistributedDataParallel使用小结 最近在做一些pretrain的工作，需要用到单机多卡。PyTorch上单机多卡常用的办法是DataParallel，但是由于一些问题官方建议已经改用DistributedDataParallel，它既可以用作单机多卡也可以用作多机多卡，以下找到两个例子可以作为参考： 参考一：简单使用 参考二：官方的ImageNet例子 这个例子中包含了如何在使用DistributedDataParallel的时候加载和保存ckeckpoint； 这
2020-08-25 17:59:46
1816
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人