https://arxiv.org/pdf/1411.1792.pdf
迁移学习transfer learning的概念:
打破深度学习需要大量的训练数据的传统观念,其实我们可以站在巨人的肩膀上,借助预训练好的模型,泛化到自己的数据集上,如下图。
注:冻结模型的意思是在训练的时候保持参数不变
1、迁移学习的几种情况:
(1)如果数据集很小,同时与原数据集很相似,我们只要对数据集的最后线性分类层进行修改就行
(2)如果数据集很小,同时与原数据集不同,我们不需要高层卷积层,因为高级卷积层提取的是原数据集的特化高级特征
(3)如果数据集很大,且与原数据集相似,我们就不用对预训练模型进行冻结了,我们可以将预训练模型的参数作为模型初始化参数,然后对这个模型参数进行微调
(4)如果数据集很大,且与原数据集不同,方法同(3)
2、神经网络的迁移学习是普遍的
注:word2vec 词向量是google提出的,用多维向量俩表示词的语义信息
3、迁移学习并不是万能的,需要具体问题具体分析,何凯明提出预训练模型和随机初始化模型所得结果差不多,但是预训练模型在最开始会加速收敛。我们应该具体问题具体分析
4、当数据集很小时,怎么办呢?
5、迁移学习的理论基础:底层,中层卷积层已经将特征提取出来,高层卷积层提取的是特化的高级特征,比如在imageNet数据集上预训练的模型高层卷积层提取的是imageNet数据集的特化高级特征。
预训练模型已经对底层普适特征进行提取,我们只要对最后的全连接层进行训练调整
http://web.stanford.edu/group/blau/pdfs/Esteva_Thrun_2017.pdf
6、应用实例
在上面论文中,就是使用inception-V3 预训练模型来进行迁移学习,对皮肤癌进行分类的一个实例
医疗诊断的标准: