【pytorch】 self.modules()和 self.children()的区别

最近看了下deeplab分割的pytorch代码，它的ASPP模块是这样写的：

class _ASPP(nn.Module):
    """
    Atrous spatial pyramid pooling (ASPP)
    """

    def __init__(self, in_ch, out_ch, rates):
        super(_ASPP, self).__init__()
        for i, rate in enumerate(rates):
            self.add_module(
                "c{}".format(i),
                nn.Conv2d(in_ch, out_ch, 3, 1, padding=rate, dilation=rate, bias=True),
            )
        for m in self.children():
            nn.init.normal_(m.weight, mean=0, std=0.01)
            nn.init.constant_(m.bias, 0)
            
     def forward(self, x):
        return sum([stage(x) for stage in self.children()])

它采用 self.children()来写网络搭建和前向传播，这里转载了一篇博客，学习下self.modules()和 self.children()的区别。
原文链接：https://blog.csdn.net/weixin_43593330/article/details/112308859

以下为转载部分：

直接看一下代码：

import torch
from torch import nn


# hyper parameters
in_dim=1
n_hidden_1=1
n_hidden_2=1
out_dim=1

class Net(nn.Module):
    def __init__(self, in_dim, n_hidden_1, n_hidden_2, out_dim):
        super(Net, self).__init__()
        self.layer = nn.Sequential(
            nn.Linear(in_dim, n_hidden_1), 
            nn.ReLU(True)
             )
        self.layer2 = nn.Sequential(
            nn.Linear(n_hidden_1, n_hidden_2),
            nn.ReLU(True),
            )
        self.layer3 = nn.Linear(n_hidden_2, out_dim)
        #print(self.modules())
        print("children")
        for i, module in enumerate( self.children()):
            print(i, module)
        print("modules")
        for i, module in enumerate( self.modules()):
            print(i, module)
            
    def forward(self, x):
        x = self.layer1(x)
        x = self.layer2(x)
        x = self.layer3(x)
        return x
      
        
model = Net(in_dim, n_hidden_1, n_hidden_2, out_dim)

网络结构解读：
这是一个三层的网络结构，将第一层的线性层和激活层放在一个nn.Sequential层中，将第二层的线性层和激活函数放在第二个nn.Sequential中，最后一个线性层作为单独第三层。
整个网络结构如下图所示：

接下来看一下代码__init__的print函数的打印信息：

• self.children()

children
0 Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
1 Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
2 Linear(in_features=1, out_features=1, bias=True)

可以看出，self.children()存储网络结构的子层模块，也就是net’s children那一层。

• self.self.modules()

modules
第一层：
0 Net(
(layer): Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
(layer2): Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
(layer3): Linear(in_features=1, out_features=1, bias=True)
)

第二层：
1 Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
2 Linear(in_features=1, out_features=1, bias=True)
3 ReLU(inplace)

第三层：
4 Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
5 Linear(in_features=1, out_features=1, bias=True)
6 ReLU(inplace)

第四层：
7 Linear(in_features=1, out_features=1, bias=True)

可以看出，self.modules()采用深度优先遍历的方式，存储了net的所有模块，包括net itself, net’s children, children of net’s children。

conclusion：

self.children()只包括网络模块的第一代儿子模块，而self.modules()包含网络模块的自己本身和所有后代模块。