【PyTorch 秒懂系列】nn.ModuleList 和 Python List 的区别

快速理解

nn.ModuleList 是具有 List 列表容器功能的 nn.Module 对象（也即网络模块），其与 List 存在：

• 相同点：都可以用来将多个 nn.Module 网络模块存放在一个列表容器中；
• 不同点：nn.ModuleList 本身也是一个 nn.Module 网络模块，因此在创建时会自动添加（register）为网络对象的子模块。nn.ModuleList 作为 nn.Module 网络模块可以通过网络对象访问或操作。但与 nn.Sequential 不同，nn.ModuleList 的列表元素 nn.Module 子模块间没有顺序依赖关系，也未定义前向传递（forward）关系。

注：

1. 网络及其子模块都是 nn.Module 对象（网络模块），是同类对象通过树状结构层级嵌套关联。在网络模块关系树状图中，网络为树根节点，nn.ModuleList 是其列表元素 nn.Module 子模块的父节点；
2. 在网络对象类实现的 __init__ 方法中，所有 nn.Module 网络模块都被认为是（自动添加为）网络的子模块；
3. <model>._modules 属性可以展示网络 __init__ 方法中定义的所有 nn.Module 子模块；
4. <model>.modules() 方法可以返回一个深度优先顺序遍历 <model>._modules 的 nn.Module 子模块生成器；
5. <model>.state_dict() 方法可以返回一个深度优先顺序遍历 <model>._modules 的所有叶子节点nn.Module 子模块的权重张量生成器。

详细理解

官方文档给出的解释：

nn.ModuleList
模块列表

Holds submodules in a list.
一个包含网络子模块的列表

ModuleList can be indexed like a regular Python list, but modules it contains are properly registered, and will be visible by all Module methods.
ModuleList 是 Python List 对象的一种延伸，在保持 List 对象内建操作的同时
将其包含的列表元素网络子模块添加到网络

对于任意一个模型：

class Model(nn.Module):
	def __init__(self):
		super(Model, self).__init__()
		...
		...

	def forward(self, x):
		...

__init__ 实例构造函数中创建的所有 nn.Module 网络模块都将添加（register）为网络的子模块组件，forward方法则是用来定义这些网络子模块间的前向传递（forward）关系。在得到网络实例

model = Model()

后，可以通过

• model._modules 属性查看网络的子模块组成；
• model.parameters() 属性查看网络的权重信息。

nn.ModuleList 和 nn.Sequential 都是列表类型的 nn.Module 网络模块，可以像 List 一样进行列表操作，但也都可以在网络实例化时添加为网络子模块。nn.ModuleList 和 nn.Sequential 的区别在于，nn.Sequential 中 nn.Module 子模块的添加顺序同时也是其子模块前向传递（forward）的顺序，因此在 forward 函数中可以直接调用，而 nn.ModuleList 则需要在 forward 函数中显式定义子模块间的前向传递关系，更具灵活性。

参考

python - Is it mandatory in pytorch to add modules to ModuleList to access its parameters - Stack Overflow