Mxnet (17): 残差网络（ResNet）

理论上添加新的层会导致误差降低，但是实践中，添加过多的层后训练误差往往不降反升。即使利用批量归一化带来的数值稳定性使训练深层模型更加容易，该问题仍然存在。针对这一问题，何恺明等人提出了残差网络（ResNet）

1 残差块

结合下图理解残差，输入为 x ，假设我们希望学出的理想映射为 f(x) 。

• 左侧， 虚线框中的部分必须直接学习映射$f(x)$ 。
• 右侧， 虚线框中的部分则需要拟合出有关恒等映射的残差映射$f(x)-x$。

我们只需将图中右图虚线框内上方的加权运算（如仿射）的权重和偏差参数学成0，那么 f(x) 即为恒等映射。实际中，当理想映射 f(x) 极接近于恒等映射时，残差映射也易于捕捉恒等映射的细微波动。

右图也是ResNet的基础块，即残差块（residual block）。在残差块中，输入可通过跨层的数据线路更快地向前传播。残差映射在实际中往往更容易优化。

ResNet沿用了VGG全$3\times 3$卷积层的设计。残差块里首先有2个有相同输出通道数的$3\times 3$卷积层。每个卷积层后接一个批量归一化层和ReLU激活函数。这种设计要求两个卷积层的输出必须与输入具有相同的形状，以便可以将它们相加。如果要更改通道数，则需要引入其他$1\times 1$卷积层将输入转换为所需的形状以进行加法运算

class Residual(nn.Block):  
    def __init__(self, num_channels, use_1x1conv=False, strides=1, **kwargs):
        super().__init__(**kwargs)
        self.conv1 = nn.Conv2D(num_channels, kernel_size=3, padding=1,
                               strides=strides)
        self.conv2 = nn.Conv2D(num_channels, kernel_size=3, padding=1)
        if use_1x1conv:
            self.conv3 = nn.Conv2D(num_channels, kernel_size=1,
                                   strides=strides)
        else:
            self.conv3 = None
        self.bn1 = nn.BatchNorm()
        self.bn2 = nn.BatchNorm()

    def forward(self, X):
        Y = npx.relu(self.bn1(self.conv1(X)))
        Y = self.bn2(self.conv2(Y))
        if self.conv3:
            X = self.conv3(X)
        return npx.relu(Y + X)

• 看一下输入和输出具有相同形状的情况。

block = Residual(3)
block.initialize()
X = np.random.uniform(size=(4, 3, 6, 6))
block(X).shape

# (4, 3, 6, 6)

• 还可以选择在增加输出通道数量的同时将输出高度和宽度减半。

blk = Residual(6, use_1x1conv=True, strides=