Transfer Learning、Finetuning和Pre-training

目录

1. Finetuning和Pre-training

2. Transfer Learning

 

1. Finetuning和Pre-training

总结一下，

• Pretraining: 有个任务1，使用大型数据集A训练模型，保存训练好的权重W
• Finetuning: 任务2与任务1类似，使用W作为任务2的初始化或特征提取器，训练新的数据集B

参考链接：https://www.jianshu.com/p/330ee6e7ceda

2. Transfer Learning

“其实迁移学习相当于预训练+微调”

这部分内容主要参考https://blog.csdn.net/weixin_43283397/article/details/104682811，现就参考链接总结一下本人觉得比较重要的知识点，如下：

定义：Ability of a system to recognize and apply knowledge and skills learned in previous domains/tasks to novel domains/tasks

重要概念：

• domain：某个时刻某个特定的领域，例如甲状腺超声图像分析和心脏超声图像分析
• task：实际的任务，识别任务和分割任务

三个W，What、How、When：

• 用什么迁移？
• 怎样迁移？

       -基于实例

       -基于特征

       -基于共享参数

• 什么时候迁移？

影响迁移学习的两个关键因素：

• 网络断开造成的最优化难题
• 高层网络中表示的特定特征在迁移过程中带来的性能损失

两个因素哪个影响最大，取决于迁移特征的位置，是网络的bottom、middle还是top。

 

后面看到好的学习资料会继续记录和分享！

---