残差网络（ResNet）

一、残差块

1、残差网络通过残差块组成

2、作用

（1）捷径连接（Shortcut Connection）实现了恒等映射（Identity Mapping），也就是说，网络至少可以直接输出输入数据的原始值 𝑥x。卷积层则负责学习残差 𝐹(𝑥)F(x)，也就是输入和期望输出之间的差值。这样，即使卷积层的参数初始化不好或训练初期未能很好地捕捉特征，网络也能通过恒等映射保持稳定输出。

（2）通过捷径连接，梯度可以直接从输出层反向传播到输入层。这种直接的梯度流动路径有效地缓解了深层网络中常见的梯度消失和梯度爆炸问题，这使得深层网络的训练更加稳定和高效

3、残差块有非常多的排列组合，大概都试一试

4、残差块先接高宽减半（步幅为2）通道乘以2，再接多个高宽不变的残差块

5、resnet是让我们加更多的层，却不会让效果变差；允许我们嵌入一个小的网络，可以先去拟合小网络；inception是缝合怪，resnet是加起来

6、因为最优点附近梯度为0，拟合得越好，越靠近最优点，梯度越小，相应的最优点附近就越平坦；有旁枝可以随着高层向低层的loss，低层也能够拿到足够大的梯度，保证训练的效率

二、ResNet架构（跟VGG、GooLeNet挺像的）

三、总结

1、学习嵌套函数（nested function）是训练神经网络的理想情况。在深层神经网络中，学习另一层作为恒等映射（identity function）较容易（尽管这是一个极端情况）。

2、残差映射可以更容易地学习同一函数，例如将权重层中的参数近似为零。

3、利用残差块（residual blocks）可以训练出一个有效的深层神经网络：输入可以通过层间的残余连接更快地向前传播。

4、残差网络（ResNet）对随后的深层神经网络设计产生了深远影响。

四、代码

1、残差块：一种是当use_1x1conv=False时，应用ReLU非线性函数之前，将输入添加到输出。 另一种是当use_1x1conv=True时，添加通过1×1卷积调整通道和分辨率。

、

import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l


class Residual(nn.Module):  #@save
    def __init__(self, input_channels, num_channels,
                 use_1x1conv=False, strides=1):
        super().__init__()
        self.conv1 = nn.Conv2d(input_channels, num_channels,
                               kernel_size=3, padding=1, stride=strides)
        self.conv2 = nn.Conv2d(num_channels, num_channels,
                               kernel_size=3, padding=1)
        if use_1x1conv:
            self.conv3 = nn.Conv2d(input_channels, num_channels,
                                   kernel_size=1, stride=strides)
        else:
            self.conv3 = None
        self.bn1 = nn.BatchNorm2d(num_channels)
        self.bn2 = nn.BatchNorm2d(num_channels)

    def forward(self, X):
        Y = F.relu(self.bn1(self.conv1(X)))
        Y = self.bn2(self.conv2(Y))
        if self.conv3:
            X = self.conv3(X)
        Y += X
        return F.relu(Y)

2、ResNet模型

def resnet_block(input_channels, num_channels, num_residuals,
                 first_block=False):
    blk = []
    for i in range(num_residuals):
        if i == 0 and not first_block:
            blk.append(Residual(input_channels, num_channels,
                                use_1x1conv=True, strides=2))
        else:
            blk.append(Residual(num_channels, num_channels))
    return blk

#残差块前的三层
b1 = nn.Sequential(nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(kernel_size=3, stride=2, padding=1))

#残差块
b2 = nn.Sequential(*resnet_block(64, 64, 2, first_block=True))
b3 = nn.Sequential(*resnet_block(64, 128, 2))
b4 = nn.Sequential(*resnet_block(128, 256, 2))
b5 = nn.Sequential(*resnet_block(256, 512, 2))

net = nn.Sequential(b1, b2, b3, b4, b5,
                    nn.AdaptiveAvgPool2d((1,1)),
                    nn.Flatten(), nn.Linear(512, 10))