Pytorch 学习笔记 nn.ModuleList与nn.Sequential

Pytorch 学习笔记 nn.ModuleList与nn.Sequential

nn.Sequential是Module的子类,在构建若干个网络层之后,由于其内部已经封装好了forward函数,可以直接调用forward方法。

nn.ModuleList也是Module的子类,类似于python中的列表,构建的过程相当于将一系列层装入了这个list,但不管ModuleList包裹了多少个层,内嵌的所有层都要是可迭代的Module的子类。由于其内部并没有封装forward函数,需要网络结构独立构建forward函数,在forward函数中可以引用ModuleList的成员。
当使用ModuleList包裹各个层之后,可以像python里的list一样对模型的各个层进行索引,同时这些层的参数将会被自动注册,这些层的参数只有被正确注册之后,优化器才能发现和训练这些参数。

以MAE中编码器的Block定义为例

		 # 定义编码器的transformer block,使用的是timm库里面封装好的block
        self.blocks = nn.ModuleList([
            Block(embed_dim, num_heads, mlp_ratio, qkv_bias=True, norm_layer=norm_layer)
            for i in range(depth)])
        
        def forward_encoder(self, x, mask_ratio):
        # apply Transformer blocks
        for blk in self.blocks:
            x = blk(x)
        x = self.norm(x)
        # 得到encoder的输出
        return x, mask, ids_restore

参考:
https://blog.csdn.net/xiaojiajia007/article/details/82118559
https://blog.csdn.net/yangwangnndd/article/details/95074331

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值