昇思25天学习打卡营第XX天|ResNet50迁移学习

resnet太经典了没啥好讲的，这里也是经典学习案例加载预训练参数

在深度学习中，预训练的卷积神经网络（ConvNet）可以作为固定的特征提取器使用。以AlexNet为例，去掉最后的全连接层后，网络剩下的部分可以用于新数据集的特征提取，生成4096维的特征向量，这些向量被称为CNN代码。为了保持性能，如果ConvNet在ImageNet上训练时使用了ReLU激活函数，那么这些特征也需要进行ReLU操作。

class ResidualBlockBase(nn.Cell):
    expansion: int = 1  # 最后一个卷积核数量与第一个卷积核数量相等

    def __init__(self, in_channel: int, out_channel: int,
                 stride: int = 1, norm: Optional[nn.Cell] = None,
                 down_sample: Optional[nn.Cell] = None) -> None:
        super(ResidualBlockBase, self).__init__()
        if not norm:
            self.norm = nn.BatchNorm2d(out_channel)
        else:
            self.norm = norm

        self.conv1 = nn.Conv2d(in_channel, out_channel,
                               kernel_size=3, stride=stride,
                               weight_init=weight_init)
        self.conv2 = nn.Conv2d(in_channel, out_channel,
                               kernel_size=3, weight_init=weight_init)
        self.relu = nn.ReLU()
        self.down_sample = down_sample

    def construct(self, x):
        """ResidualBlockBase construct."""
        identity = x  # shortcuts分支

        out = self.conv1(x)  # 主分支第一层：3*3卷积层
        out = self.norm(out)
        out = self.relu(out)
        out = self.conv2(out)  # 主分支第二层：3*3卷积层
        out = self.norm(out)

        if self.down_sample is not None:
            identity = self.down_sample(x)
        out += identity  # 输出为主分支与shortcuts之和
        out = self.relu(out)

        return out

除了作为特征提取器，还可以对ConvNet进行微调（Fine-tuning），即在新数据集上不仅替换和重新训练分类器，还继续反向传播来优化预训练网络的权重。微调可以针对网络的全部层，或者只针对部分高层进行，以避免过拟合。这是因为网络的前层通常提取更通用的特征，而后层则可能过于特化于原始数据集的类别。

现代ConvNet在ImageNet上训练需要耗费大量时间和计算资源，因此常见的做法是共享预训练模型的权重，供他人用于微调。例如，Caffe库有一个模型动物园（Model Zoo），人们可以在这里分享和获取网络权重。这种做法促进了研究社区的协作和资源的共享。