迁移学习的个人学习记录

1、什么是迁移学习

在某些机器学习场景中，由于直接对目标域从头开始学习成本太高，因此我们期望运用已有的相关知识来辅助尽快地学习新知识。比如，已经会编写Java程序，就可以类比着来学习C#；已经学会英语，就可以类比着来学习法语；已经学会了骑自行车，就可以类比学习骑摩托车；等等。正是通过两种事物之间的相似性，可以构建一种从旧知识到新知识的迁移桥梁，从而可以更快更好的学习新知识。
迁移学习（Transfer Learning）通俗来讲就是学会举一反三的能力，通过运用已有的知识来学习新的知识，其核心是找到已有知识和新知识之间的相似性，通过这种相似性的迁移达到迁移学习的目的。世间万事万物皆有共性，如何合理地找寻它们之间的相似性，进而利用这个桥梁来帮助学习新知识，是迁移学习的核心问题。

也就是能够识别猫狗的大型模型，可以只训练几百个样本就能够识别老虎和狮子。

2、引出两种迁移学习的方式

预训练模式

预训练

• 将网络的结构，参数迁移到新的任务中
• 参数的初始化取值设定为原网络的数值
• 所有的参数重新训练

固定值模式

固定值：

• 将网络的结构、参数迁移到新的任务中
• 参数的取值设定为原网络的数值，始终不变

3、小结

• 迁移学习有望解决数据稀缺的问题
• 神经网络的切分与组合
• 两种迁移学习方式：固定值模式与预测训练模式

内容部分有截取他人，如有侵权联系删。