讲座笔记 transfer learning via learning to transfer

transfer learning via learning to transfer

Ying Wei

突然发现一年前听过师姐的讲座，当时没来得及细看文章，更详细的笔记见：论文笔记

背景：

Transfer learning: 从标注数据多的领域到少的领域

Research issue: when, how, what to transfer?

有的语义相关，有的关联较少

Former work： Brute-force exploration / expert design

能否不用expert design：Meta-cognitive reflection

 

框架：

Framework: learning to transfer framework

xyz： 源与目标领域，可以迁移的知识，带来performance的提升

目的是max z|x

 

与meta learning原理相似，meta的task是ML，而本文是迁移学习

可以迁移的知识可以认为是不同的迁移学习算法（浅层），用W_e参数，视为投影到影空间（类似embedding matrix）

将x y map到z上，回归任务 目标函数与1/performance ratio，即min 目标函数(1/performance ratio)

f(x1,x2,W_e)包含三部分，第一部分是两个distribution中心的距离，（W_e map后越接近越利于迁移学习）（mean），第二个是衡量overlap（越多越好 variance），第三个是衡量目标领域discriminative

目标函数是non linear，用kernel trick

Generation bound： 保证过去用了越多迁移学习，效果越好，确保可以online learning

 

实验：

Dataset: Caltech 256 -> Google Sketches

Baseline: 所有用到的迁移学习算法

Result：相比baseline有提高，特别是目标领域标注数据很少时，提升很大

              验证generation bound

              验证目标函数定义的合理性

 

W_e参数化后可以得到新的更好的学习的知识，而非仅仅是迁移学习算法的线性组合