迁移学习与fine-tuning的区别

迁移学习是一个idea，把一个预先训练好的模型的部分挪到一个类似的任务上使用。一方面这节省了训练的时间；另一方面对于某些任务我们可能有很大的dataset而对于另一些相似的任务并没有那么大的dataset，那么我们就可以拿在前者上训练好的模型抽掉最后几层（抽掉多少视后者有多大而定），在后者上只另外train最后几层。举个例子，在语音识别里我们有很多英语的数据，但却没有多少的葡萄牙语的数据，考虑到两者都深受拉丁语影响，我可以先拿英语的语音数据训练一个模型，在基于这个模型在葡萄牙语上训练模型的最后几层对最后几层参数进行微调。

fine-tuning 是一个trick，在迁移学习中有所涉及，但不仅仅出现在迁移学习中，指对参数进行微调。