Pytorch 模型参数管理

最新推荐文章于 2024-09-20 20:21:53 发布

Dawn_fire

最新推荐文章于 2024-09-20 20:21:53 发布

阅读量1.2k

点赞数 1

分类专栏： Pytorch Notes 文章标签： pytorch 深度学习神经网络

本文链接：https://blog.csdn.net/Dawn_fire/article/details/121755082

版权

本文介绍了Pytorch中模型参数的管理，包括如何初始化参数、访问参数以及实现参数共享。模型初始化时需指定权重，可使用nn.Module子类定义网络，并通过nn.init函数进行初始化。参数访问可通过model.parameters()或直接通过层的属性获取。对于参数共享，示例展示了如何在不同层之间设置相同的参数，使得修改其中一个层的参数，另一个层的参数也会相应改变，且在反向传播时共享梯度。

摘要由CSDN通过智能技术生成

Pytorch 模型参数管理

1. 参数初始化

使用 self.modules ，声明网络时初始化并加载权重

pytorch 模型应是 nn.Module 的子类
self.modules: nn.Module 类中的一个方法, 返回该网络中的所有 modules
可以利用 self.modules 来对网络进行初始化。

class Network(nn.Module):
	def __init__(self):
		supe().__init__()
		self.Conv2d = nn.Conv2d(3, 10)
		sefl.bn = nn.BatchNorm2d(10)
		self.relu = nn.ReLU()
		self._init_weight()  #在初始化网络时, 会执行该函数,然后初始化网络中的每个module
		
	def forward(self, x):
		x = self.Conv2d(x)
		x = self.bn(x)
		return self.relu(x)
		
	def _init_weight(self):
		for m in self.modules()   #继承nn.Module的方法
			if isinstance(m, nn.Conv2d):
				torch.nn.init.kaiming_normal_(m.weight)
			elif isinstance(m, nn.BatchNorm2d):
				m.weight.data.fill_(1)
				m.bias.data.zero_()