15、SEQUENTIAL

CLASS torch.nn.Sequential(*args)

一个顺序容器。 模块将按照它们在构造函数中传递的顺序添加到其中。或者，可以传入模块的 OrderedDict。Sequential 的 forward() 方法接受任何输入并将其转发到它包含的第一个模块。
然后它将输出“链接”到每个后续模块的输入，最后返回最后一个模块的输出。

Sequential 通过手动调用一系列模块提供的价值是它允许将整个容器视为单个模块，这样对 Sequential 执行转换适用于它存储的每个模块（每个模块都是该模块的注册子模块） 顺序）。

Sequential 和 torch.nn.ModuleList 有什么区别？ ModuleList 正是它听起来的样子——一个用于存储 Module 的列表！ 另一方面，Sequential 中的层以级联方式连接。

例子：

# Using Sequential to create a small model. When `model` is run,
# input will first be passed to `Conv2d(1,20,5)`. The output of
# `Conv2d(1,20,5)` will be used as the input to the first
# `ReLU`; the output of the first `ReLU` will become the input
# for `Conv2d(20,64,5)`. Finally, the output of
# `Conv2d(20,64,5)` will be used as input to the second `ReLU`
model = nn.Sequential(
          nn.Conv2d(1,20,5),
          nn.ReLU(),
          nn.Conv2d(20,64,5),
          nn.ReLU()
        )

# Using Sequential with OrderedDict. This is functionally the
# same as the above code
model = nn.Sequential(OrderedDict([
          ('conv1', nn.Conv2d(1,20,5)),
          ('relu1', nn.ReLU()),
          ('conv2', nn.Conv2d(20,64,5)),
          ('relu2', nn.ReLU())
        ]))