数据分析-深度学习Pytorch Day2

nn.Conv2d()的参数以及含义

torch.nn.Conv2d(
    in_channels, 
    out_channels, 
    kernel_size, 
    stride=1, 
    padding=0, 
    dilation=1, 
    groups=1, 
    bias=True, 
    padding_mode='zeros', 
    device=None, 
    dtype=None)

当biase为True时，输出特征图的每个元素满足一下公式：

一般来说，我们会设置bias=False。这是因为Conv2D后面往往会接一个BN层，在BN层中会计算bias，因此，在Conv2D中可以设置biase=False。

模型微调（fine_turn）

pytorch中通过 .required_grad来控制某一层是否进行梯度回传（参数更新）。如下所示：

model = torchvision.models.resnet18(pretrained=True)
for param in model.parameters():
    param.requires_grad = False

当param.requires_grad = True时，表示进行梯度回传（默认）。

当param.requires_grad = False时，表示该层不进行参数参数更新。

局部微调

当训练集数量少，或者数据域不相同时，可以使用局部微调。如固定住backbone的参数，只更新head的参数。

全局微调

当训练数据量大时，可以使用全局微调。这时我们可以控制一些层的学习率来获取更好的效果。即网络的不同层可以使用不同的学习率。

ignored_params = list(map(id, model.fc.parameters()))
base_params = filter(lambda p: id(p) not in ignored_params,
                     model.parameters())
 
optimizer = torch.optim.SGD([
            {'params': base_params},
            {'params': model.fc.parameters(), 'lr': 1e-3}
            ], lr=1e-2, momentum=0.9)

多GPU训练

DP

DDP