看到这里不自觉就想到了一些tricks:
(1)在进行迁移学习的时候,对于数据量小的数据,我们对模型进行finetune的时候,只更新全连接层的参数,不赞同更新整个模型的参数。
(2)对于数据量稍微大的点,对模型进行fine-tune时候,可以自行设置多往前更新几层的参数,不赞同更新整个模型参数。
(3)对数据量大的时候,我们才考虑更新整个模型的参数。
(4)当数据量足够大的时候,不需要迁移学习,直接训练整个模型就可以了。
下面的例子可以证明我的观点:
看到这里不自觉就想到了一些tricks:
(1)在进行迁移学习的时候,对于数据量小的数据,我们对模型进行finetune的时候,只更新全连接层的参数,不赞同更新整个模型的参数。
(2)对于数据量稍微大的点,对模型进行fine-tune时候,可以自行设置多往前更新几层的参数,不赞同更新整个模型参数。
(3)对数据量大的时候,我们才考虑更新整个模型的参数。
(4)当数据量足够大的时候,不需要迁移学习,直接训练整个模型就可以了。
下面的例子可以证明我的观点: