Module.named_parameters()、Module.named_children()与Module.named_modules()的区别

在代码里面输出一下子：

import torch
import torch.nn as nn


class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(3, 4)
        self.relu1 = nn.ReLU()
        self.fc2 = nn.Linear(4, 1)
        self.sequence = nn.Sequential(
            nn.Linear(5, 4),
            nn.MaxPool2d(2, 2)
        )

    def forward(self, x):
        o = self.fc1(x)
        o = self.relu1(o)
        o = self.fc2(o)
        return o


net = Net()

# Parameter类是在Tensor上封装起来的，也有is_leaf的bool值
print('parameter start')
for name, parameter in net.named_parameters():
    print(name)
    print(type(parameter))
    print(parameter.is_leaf)
print('parameter end')

print('****************************************************')

print(isinstance(torch.nn.parameter.Parameter, torch.Tensor))
print(type(net.fc1))

print('module start')
# module类（包裹Conv2d等），是模型类不是张量，不存在is_leaf函数
for name, module in net.named_modules():
    print(name)
    print(type(module))
print('module end')

print('****************************************************')

# Conv2d及Linear类，是模型类不是张量，不存在is_leaf函数
print('child start')
for name, child in net.named_children():
    print(name)
    print(type(child))
print('child end')

输出结果为：

parameter start
fc1.weight
<class 'torch.nn.parameter.Parameter'>
True
fc1.bias
<class 'torch.nn.parameter.Parameter'>
True
fc2.weight
<class 'torch.nn.parameter.Parameter'>
True
fc2.bias
<class 'torch.nn.parameter.Parameter'>
True
sequence.0.weight
<class 'torch.nn.parameter.Parameter'>
True
sequence.0.bias
<class 'torch.nn.parameter.Parameter'>
True
parameter end
****************************************************
False
<class 'torch.nn.modules.linear.Linear'>
module start

<class '__main__.Net'>
fc1
<class 'torch.nn.modules.linear.Linear'>
relu1
<class 'torch.nn.modules.activation.ReLU'>
fc2
<class 'torch.nn.modules.linear.Linear'>
sequence
<class 'torch.nn.modules.container.Sequential'>
sequence.0
<class 'torch.nn.modules.linear.Linear'>
sequence.1
<class 'torch.nn.modules.pooling.MaxPool2d'>
module end
****************************************************
child start
fc1
<class 'torch.nn.modules.linear.Linear'>
relu1
<class 'torch.nn.modules.activation.ReLU'>
fc2
<class 'torch.nn.modules.linear.Linear'>
sequence
<class 'torch.nn.modules.container.Sequential'>
child end

可见，named_parameters()输出模型中每一个参数的名称（字符串）与这个参数（Parameter类）；而named_modules()与named_children()则输出的是每一块模型的名称（字符串）与这个模型（Conv2d、Linear、Sequence或者是'__main.Net'类）。

其中modules与children又有区别：modules会迭代式地找到每一个模型（例如<class '__main__.Net'>或者是sequential的内部），而children则只会找到直接的子模型，不包含自己（<class '__main__.Net'>）或是孙子模型（sequential内部的）。

torch.nn.Conv2d、torch.nn.BatchNorm2d等等，都是torch.nn.Module类的子类：

issubclass(torch.nn.Conv2d, torch.nn.Module)

>> True