pytorch模型权重初始化

pytorch模型权重初始化

官方API

torch.nn.init.uniform_(tensor, a=0.0, b=1.0)	从均匀分布 U(a,b) 中生成值，填充输入的张量
torch.nn.init.normal_(tensor, mean=0.0, std=1.0)	从给定均值 mean 和标准差 std 的正态分布中生成值，填充输入的张量
torch.nn.init.constant_(tensor, val)	用 val 的值填充输入的张量
torch.nn.init.ones_(tensor)	用 1 填充输入的张量
torch.nn.init.zeros_(tensor)	用 0 填充输入的张量
torch.nn.init.eye_(tensor)	用单位矩阵填充输入的二维张量
torch.nn.init.dirac_(tensor, groups=1)	用 Dirac delta 函数来填充 {3，4，5} 维输入张量。在卷积层中尽可能多地保存输入通道特性
torch.nn.init.xavier_uniform_(tensor, gain=1.0)	使用 Glorot initialization 方法均匀分布生成值，生成随机数填充张量
torch.nn.init.xavier_normal_(tensor, gain=1.0)	使用 Glorot initialization 方法正态分布生成值，生成随机数填充张量
torch.nn.init.kaiming_uniform_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’)	使用 He initialization 方法均匀分布生成值，生成随机数填充张量
torch.nn.init.kaiming_normal_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’)	使用 He initialization 方法正态分布生成值，生成随机数填充张量
torch.nn.init.orthogonal_(tensor, gain=1)	使用正交矩阵填充张量进行初始化

代码部分

import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

import torch
import torch.nn as nn
import matplotlib.pyplot as plt
import numpy as np
'''
没有结果网络初始化的参数分布
'''
conv1=nn.Conv2d(3,32,1)

plt.hist(conv1.weight.data.numpy().reshape(-1,1),bins=30)
plt.show()

#初始化偏置
nn.init.constant_(conv1.bias,1)
plt.plot(conv1.bias.data.numpy().reshape(-1,1))

class LeNet(nn.Module):
    def __init__(self):
        super(LeNet, self).__init__()
        self.features = nn.Sequential(
            nn.Conv2d(1, 128, 5, 1),
            nn.ReLU(True),
            nn.MaxPool2d(2, 2),
            nn.Conv2d(128, 128, 5, 1),
            nn.ReLU(True),
            nn.MaxPool2d(2, 2),
            nn.Conv2d(128, 128, 5, 1),
            nn.ReLU(True),
        )
        self.classifer = nn.Sequential(
            nn.Flatten(),
            nn.Linear(128, 84),
            nn.ReLU(True),
            nn.Dropout(0.1),
            nn.Linear(84, 10),
            nn.Softmax(-1)
        )

    def forward(self, x):
        x = nn.ZeroPad2d((2, 2, 2, 2))(x)
        x = self.features(x)
        x = self.classifer(x)
        return x

def init_weight(layer):
    if type(layer)==nn.Conv2d:
        nn.init.normal_(layer.weight,mean=0,std=0.5)
    elif type(layer)==nn.Linear:
        nn.init.uniform_(layer.weight,a=-1,b=0.1)
        nn.init.constant_(layer.bias,0.1)
model=LeNet()
model.apply(init_weight)

参考的博客