pytorch变量、学习率设置等trick小结

最近用到需要用到Pytorch的变量、学习率调整等操作，特此做个小结记录：

 

如果需要在Module中定义多个变量，直接在init函数中定义可能对module并不可见，至少打印出来优化参数时是不存在的，这时可以使用pytorch nn.ParameterList将参数组合成Pytorch支持的数组，具体细节官网文档更清楚，如果 看中文，见下面的链接：

https://www.lizenghai.com/archives/7538.html

另外，定义变量时不要加.cuda()，就是是不能手动调用.cuda()方法将其加载在GPU上，事实上它会自动在GPU上加载，可以通过model.state_dict()或者model.named_parameters()函数查看现在的全部可训练参数（包括通过继承得到的父类中的参数）。相关细节可见下面这篇博客：

https://blog.csdn.net/qq_19672579/article/details/79195568

 

可以通过下面的方法给模型中的不同组的参数设置不同的学习率：

for name, value in model.named_parameters():
	if "Parameter" in name:
		kernel_para += [value]
	elif "theta" in name:
		theta_para += [value]
	else:
		conv_para += [value]

 然后通过下面的方式使用：

optimizer = torch.optim.Adam(
	[
		{"params": kernel_para, 'lr': 0.01},
		{"params": theta_para, 'lr': 0.1},
		{"params": conv_para, 'lr': 0.001},
	],
	weight_decay = 1e-5,
)

最后通过下面的方式给每组参数设置不同的随迭代次数变化（衰减）的学习率：

def adjust_learning_rate(optimizer, epoch):
	if epoch < 3:
		iter_count = 0
		for param_group in optimizer.param_groups:
			if iter_count < 2:
				param_group['lr'] = param_group['lr'] * 0.3
			iter_count += 1

 

另外关于pytorch model.named_parameters() ,model.parameters() ,model.state_dict().items()可见下面的这篇博客：

https://blog.csdn.net/u013548568/article/details/84311099

 

 

最后，关于Pyotch训练过程中的“奇技淫巧”可参见知乎：

https://zhuanlan.zhihu.com/p/76459295