在深度学习的学习过程中,由于计算资源有限或者训练集较小,但我们又想获得较好较稳定的结果,那么一些已经训练好的模型会对我们有很大帮助,比如 Alex Net, google net, VGG net, ResNet等,那我们怎么对这些已经训练好的模型进行fine-tune来提高准确率呢? 在这篇博客中,我们使用已经训练好的ResNet50网络模型,该模型基于imagenet数据集,实现了对1000种物体的分类。
步骤如下:
1. 下载ResNet50不包含全连接层的模型参数到本地(resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5);
2. 定义好ResNet50的网络结构;
3. 将预训练的模型参数加载到我们所定义的网络结构中;
4. 更改全连接层结构,便于对我们的分类任务进行处
5. 或者根据需要解冻最后几个block,然后以很低的学习率开始训练。我们只选择最后一个block进行训练,是因为训练样本很少,而ResNet50模型层数很多,全部训练肯 定不能训练好,会过拟合。 其次fine-tune时由于是在一个已经训练好的模型上进行的,故权值更新应该是一个小范围的,以免破坏预训练好的特征。
Step1:下载权重数据
地址:点击这里
Step2:定义ResNet50的网络结构
def identity_block(X, f, filters, stage, block):
# defining name basis
conv_name_base = 'res' + str(stage) + block + '_branch'
bn_name_base = 'bn' + str(stage) + block + '_branch'
# Retrieve Filters
F1, F2, F3 = filters
# Save the input value. You'll need this later to add back to t