1.1 元学习
学会学习。准备训练任务和测试任务,而训练任务和测试任务中又分布包括训练资料和测试资料。
1.2 元学习资料
MAML李宏毅老师
1.3 元学习的两个经典模型
1.MAML
MAML学习一个好的初始化权重,从而在新任务上实现fast adaptation,即在小规模的训练样本上迅速收敛并完成fine-tune。
2.MLDG
MLDG(Meta-Learning Domain Generalization)是第一个通过元学习来解决领域泛化问题的研究结果。MLDG既可以用于监督学习也可以用于强化学习。
1.4 元学习相关文献综述
1.Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
论文中提出了一个与模型无关的通用的元学习框架MAML,目标是在各自学习任务中训练出一个模型,用少量的训练样本就能解决新的训练任务。
2.Person30K: A Dual-Meta Generalization Network for Person Re-Identification
论文中作者创建一个大规模的 Person30K 数据集,呈现出多样化的数据采集条件,并有望促进 ReID 模型在真实世界场景中的研究和部署。
此外,作者还提出一种域泛化的 ReID 方法,将元学习方案整合到模型训练过程和度量空间学习中,以提高模型的泛化和识别能力。并通过广泛的实验证明了该方法的有效性。
3.Learning to Generalize: Meta-Learning for Domain Generalization
首次提出了一种新的领域泛化的元学习方法,算法通过在每个小批次中合成虚拟测试域来模拟训练期间的训练/测试域转移,元优化的目标是提高训练域的性能。
4.Meta Batch-Instance Normalization for Generalizable Person Re-Identifification
提出了一种新的可泛化ReID框架,即元批处理-实例规范化模型MetaBIN),其主要思想就是通过元学习预先模拟不成功的泛化场景来泛化标准化层,MetaBIN框架防止了模型对给定源风格的过拟合,提高了不可见域的泛化能力。