迁移学习 fine tune(微调) 模型蒸馏
文章目录迁移学习: 把预训练模型参数迁移到新的模型上,帮助模型训练。应用场景手段fine tune/ fine tuning:微调,一种调参手段优点使用场景具体操作学习率设置使用哪些层权重multi-task learning迁移学习: 把预训练模型参数迁移到新的模型上,帮助模型训练。应用场景数据集中只有少量的label data,直接训练效果很差,容易过拟合。手段fine tune/ fine tuning:微调,一种调参手段y=wx,若w实际为5。如果w初始化为0,需不断反向传播更新后得到
复制链接