使用torchvision.models加载的模型默认使用的是BatchNorm,当需要在分布式机器上训练时,我们需要将BatchNorm转换成SyncBatchNorm,可以使用:
backbone = models.resnet18(pretrained=True, norm_layer=nn.SyncBatchNorm)
Torchvision模型修改
最新推荐文章于 2023-07-03 11:25:47 发布
使用torchvision.models加载的模型默认使用的是BatchNorm,当需要在分布式机器上训练时,我们需要将BatchNorm转换成SyncBatchNorm,可以使用:
backbone = models.resnet18(pretrained=True, norm_layer=nn.SyncBatchNorm)