DistributedParallel的资料集锦

再看pytorch-transformer的示例，里面涉及了分布式训练和预测，之前对此一无所知，学起来
https://oldpan.me/archives/pytorch-to-use-multiple-gpus
混合精度训练:
大多数的深度学习模型使用的是32位单精度浮点数（FP32）来进行训练，而混合精度训练的方法则通过16位浮点数（FP16）进行深度学习模型训练，从而减少了训练深度学习模型所需的内存，同时由于FP16的运算比FP32运算更快，从而也进一步提高了硬件效率。
https://cloud.tencent.com/developer/news/254121
http://www.sohu.com/a/336981343_500659
https://ptorch.com/news/40.html

Dataset, Sampler以及DataLoader的关系介绍:
https://www.cnblogs.com/marsggbo/p/11308889.html
https://blog.csdn.net/TH_NUM/article/details/80877772
https://blog.csdn.net/azsx02/article/details/78430709

浅谈 PyTorch 中的 tensor 及使用
https://blog.csdn.net/byron123456sfsfsfa/article/details/90609758