残差网络（ResNet）与稠密连接网络（DenseNet）

ResNet

残差块

让我们聚焦于神经网络局部。如图5.9所示，设输入为 𝑥 。假设我们希望学出的理想映射为 𝑓(𝑥) ，从而作为图5.9上方激活函数的输入。左图虚线框中的部分需要直接拟合出该映射 𝑓(𝑥) ，而右图虚线框中的部分则需要拟合出有关恒等映射的残差映射 𝑓(𝑥)−𝑥 。残差映射在实际中往往更容易优化。以本节开头提到的恒等映射作为我们希望学出的理想映射 𝑓(𝑥) 。我们只需将图5.9中右图虚线框内上方的加权运算（如仿射）的权重和偏差参数学成0，那么 𝑓(𝑥) 即为恒等映射。实际中，当理想映射 𝑓(𝑥) 极接近于恒等映射时，残差映射也易于捕捉恒等映射的细微波动。图5.9右图也是ResNet的基础块，即残差块（residual block）。在残差块中，输入可通过跨层的数据线路更快地向前传播。

ResNet沿用了VGG全 3×3 卷积层的设计。残差块里首先有2个有相同输出通道数的 3×3 卷积层。每个卷积层后接一个批量归一化层和ReLU激活函数。然后我们将输入跳过这两个卷积运算后直接加在最后的ReLU激活函数前。这样的设计要求两个卷积层的输出与输入形状一样，从而可以相加。如果想改