1.查看模型的参数、参数量、参数的梯度
params=list(model.parameters())
print(params[0])
print(params[1])
print(params[2])
print(params[3])
loss=model.loss(o1,o2)
print(params[0].grad)
调试的时候可以通过params查看网络每一层的参数、以及参数的梯度
还可以结合该代码模块,输出网络的部分参数、梯度。
for parameters in net.parameters():
print(parameters)
2.把网络某一部分参数,固定,不让其被训练
可以使用requires_grad.
for p in model.parameters():
p.requires_grad = False
当调用backward函数时,只有requires_grad为true以及is_leaf为true的节点才会被计算梯度,即grad属性才会被赋予值。
3.神经网络权重参数初始化
https://blog.csdn.net/victoriaw/article/details/72872036
torch.nn.init.constant(tensor, val)
torch.nn.init.normal(tensor, mean=0, std=1)
torch.nn.init.xavier_uniform(tensor, gain=1)