龙明盛教授-few-shot learning-ppt

2020年10月6日，下午3：10 - 4：10 北交九教中102讲座记录。

主题：few shot learning

较为系统的介绍了小样本学习的主流技术脉络： 迁移学习、多任务学习、元学习。

其目的是提升机器学习模型在不同场景的泛化能力。

note : 模型和一系列的预处理手段都可以视作模型的先验知识。

note: 整体框架图。

· Transfer learning : 单任务的迁移  （举例：学数学  考数学）

· Multi-task learning: 多任务的迁移（各种任务之间可以通过共享权重的方式进行关联，else:contact, add, multi-head, 固定主干）(举例：学数学和物理 考数学和物理 --- 任务之间有关联关系，可能是相互促进的，也可能是相互制约的）

· Meta-learning: 多任务学习得到的模型和知识，迁移到新的任务场景下。(举例：野外、 open set domain adaption...）

note : 单任务 从loss上看，尽可能地降低损失，并且正则项保证模型不是很大。

note: 多任务就是把每个任务地loss加起来。（loss可以通过加权地方式进行获取，例如与目标任务比较接近时，weight大一些）

note: （important page) 精准地概括了三者之间地关系。元学习实质上是多任务和transfer的前后结合。

其他PPT就是龙教授整理的具体works，就不贴了。

others: 

1、知识迁移很大，迁移学习很小；

2、Few-shot的学习率调整很重要，甚至影响了复现过程和实验结果；

3、如果把多任务学习的数据集合在一起，就变成了单任务学习；

4、整体感觉few-shot方向还有很多东西可以做，元学习有时效果不比迁移学习方法好。