【PyTorch】随机种子 与 网络初始化

设置随即种子

使用pytorch_lightning下的seed_everything方法。
若调用GPU，有时还不够，还需排除cudnn加速的随机性。

from pytorch_lightning import seed_everything

seed_everything(0)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

网络初始化

可以用如下代码进行网络参数初始化

class My_CNN(nn.Module):
    def __init__(self):
        super(My_CNN, self).__init__()

        self.tmp1 = nn.Linear(4 * 4 * 64, 512)
        self.tmp2 = nn.Conv2d(32, 32, 3)
        self.tmp3 = nn.BatchNorm2d(64)
        ...

        for m in self.children():
            if isinstance(m, nn.Linear):
                print("init linear.")
                nn.init.normal_(m.weight, 0, 0.02)
                nn.init.constant_(m.bias, 0)
            elif isinstance(m, nn.Conv2d):
                print("init conv.")
                nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')
                nn.init.constant_(m.bias, 0)
            elif isinstance(m, nn.BatchNorm2d):
                print("init batchnorm2d.")
                nn.init.normal_(m.weight, 1, 0.02)
                nn.init.constant_(m.bias, 0)
            ...

但套在nn.Sequential()内的网络参数不会被初始化，如下所示：

self.conv1 = nn.Sequential(
	             	nn.Conv2d(1, 32, 3),
		           	nn.BatchNorm2d(32),
		           	nn.ReLU()
             )

这种需要手动对Sequential()内的网络进行初始化。

参考资料：

1. https://blog.csdn.net/qq_41917697/article/details/115042465
2. https://zhuanlan.zhihu.com/p/97651850