resnet太经典了没啥好讲的,这里也是经典学习案例加载预训练参数
在深度学习中,预训练的卷积神经网络(ConvNet)可以作为固定的特征提取器使用。以AlexNet为例,去掉最后的全连接层后,网络剩下的部分可以用于新数据集的特征提取,生成4096维的特征向量,这些向量被称为CNN代码。为了保持性能,如果ConvNet在ImageNet上训练时使用了ReLU激活函数,那么这些特征也需要进行ReLU操作。
class ResidualBlockBase(nn.Cell):
expansion: int = 1 # 最后一个卷积核数量与第一个卷积核数量相等
def __init__(self, in_channel: int, out_channel: int,
stride: int = 1, norm: Optional[nn.Cell] = None,
down_sample: Optional[nn.Cell] = None) -> None:
super(ResidualBlockBase, self).__init__()
if not norm:
self.norm = nn.BatchNorm2d(out_channel)
else:
self.norm = norm
self.conv1 = nn.Conv2d(in_channel, out_channel,
kernel_size=3, stride=stride,
weight_init=weight_init)
self.conv2 = nn.Conv2d(in_channel, out_channel,
kernel_size=3, weight_init=weight_init)
self.relu = nn.ReLU()
self.down_sample = down_sample
def construct(self, x):
"""ResidualBlockBase construct."""
identity = x # shortcuts分支
out = self.conv1(x) # 主分支第一层:3*3卷积层
out = self.norm(out)
out = self.relu(out)
out = self.conv2(out) # 主分支第二层:3*3卷积层
out = self.norm(out)
if self.down_sample is not None:
identity = self.down_sample(x)
out += identity # 输出为主分支与shortcuts之和
out = self.relu(out)
return out
除了作为特征提取器,还可以对ConvNet进行微调(Fine-tuning),即在新数据集上不仅替换和重新训练分类器,还继续反向传播来优化预训练网络的权重。微调可以针对网络的全部层,或者只针对部分高层进行,以避免过拟合。这是因为网络的前层通常提取更通用的特征,而后层则可能过于特化于原始数据集的类别。
现代ConvNet在ImageNet上训练需要耗费大量时间和计算资源,因此常见的做法是共享预训练模型的权重,供他人用于微调。例如,Caffe库有一个模型动物园(Model Zoo),人们可以在这里分享和获取网络权重。这种做法促进了研究社区的协作和资源的共享。