一、state_dict()
state_dict 可以获取网络的状态,也就是权重,可以看成_Module()
print(net.state_dict())
当打印某一层是时候,是一个以weight和bias为key的dict
二、访问具体的参数
print(net[0].bias.data)
print(net[0].bias.grad)
print(net[0].weight)
三、通过named_parameters来获取网络中的所有参数
torch的Module有一个成员函数named_parameters,可以获取网络的参数
返回的是name,param
print([(name, param.shape)for name, param in net.named_parameters()]) # 获取网络中的所有参数
四、内置初始化
先定义个初始化函数
def init_normal(m): # 定义一个初始化函数
if (type(m) == nn.Linear):
nn.init.normal_(m.weight, mean=0, std=0.01)
nn.init.zeros_(m.bias)
然后利用Module内置apply()函数进行初始化
rgnet.apply(init_normal) # 利用apply对所有成员镜像初始化
还可以更暴力,直接将权重替换为自己想赋值的任意值,比如下加1
rgnet[0][0][0].bias.data[:] += 1
print(rgnet[0][0][0].bias.data[:])
五、在网络中共享权重
shared = nn.Linear(8, 8) # 先定义个层
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), shared, nn.ReLU(), shared, nn.ReLU(), nn.Linear(8, 1))
print(net[2].weight.data[0] == net[4].weight.data[0]) # 权重是相等的
net[2].weight.data[0, 0] = 100 # 修改第二层的weight的第一个权重值为100
print(net[2].weight.data[0] == net[4].weight.data[0]) # 修改后权重仍然是相等的