pytorch中模型的各参数初始化

我有酒两杯

已于 2022-06-06 18:57:01 修改

阅读量647

点赞数 1

分类专栏：深度学习-筑基篇文章标签： pytorch 深度学习人工智能

于 2022-06-06 15:37:57 首次发布

本文链接：https://blog.csdn.net/weixin_42232041/article/details/125147150

版权

深度学习-筑基篇专栏收录该内容

9 篇文章 0 订阅

订阅专栏

记录 pytorch中模型的各参数初始化 方法

1、self.modules() 方法

用于获取自定义类中所有模块、层。通过遍历所有层，实现逐一初始化。

class MyNet(nn.Module):
    def __init__(self):
    	# 在这里实例化各种层（Conv2D、BN、Attention ... ）
		for m in self.modules():	# 获取所有层
            if isinstance(m, nn.Conv2d):	# 对卷积层初始化，标准分布
                n = m.kernel_size[0] * m.kernel_size[1] * m.out_channels
                m.weight.data.normal_(0, math.sqrt(2. / n))
            elif isinstance(m, nn.BatchNorm2d): 	# 对BN层初始化，方差为1，偏差为0
            	m.weight.data.fill_(1)
                m.bias.data.zero_()

2、kaiming初始化

def init_conv_kaiming(self,layer):
    if isinstance(layer, nn.Conv2d):
        nn.init.kaiming_uniform_(layer.weight, a=1)

        if layer.bias is not None:
            nn.init.constant_(layer.bias, 0)