-
使用DataLoaders
-
DataLoader中的workers数量
-
Batch size
-
梯度累计
-
保留的计算图
-
移动到单个
-
16-bit 混合精度训练
-
移动到多个GPUs中(模型复制)
-
移动到多个GPU-nodes中 (8+GPUs)
-
思考模型加速的技巧
使用PyTorch-Lightning
最新推荐文章于 2024-05-07 17:47:49 发布
使用DataLoaders
DataLoader中的workers数量
Batch size
梯度累计
保留的计算图
移动到单个
16-bit 混合精度训练
移动到多个GPUs中(模型复制)
移动到多个GPU-nodes中 (8+GPUs)
思考模型加速的技巧