迁移学习（Transfer learning）

迁移学习（Transfer learning）

---

1 Introduction

• Example：Dog/Cat Classifier
• 现实生活中一直存在迁移学习

---

2 Classification

• label & label：$\{(x_s,y_s),(x_t,y_t)\}$

  • Fine tuning：复制前面几层layer的实验效果，复制越多越差
  • multitask learning：共用前面几层layer；共用中间的layer；
    
    • 不同语种之间的迁移
    • Progressive NN：迁移其他任务训练得到的神经网络

• label & unlabel：$\{(x_s,y_s),(x_t)\}$

  • Domian-adversarial training：
    
    • feature exteactor $\rightarrow$ Domian classifier $\rightarrow$ domain label 骗过
    • feature exteactor $\rightarrow$ label predictor 保证
    • 《Unsupervised Domain Adaptation by Backpropagation》——ICML2015
    • 《Domain-Adversarial Training of Neural Networks》——JMLR2016
      
  • Zero-shot learning：不同的任务，例如source data是猫和狗，test data是草泥马
    
    • 只预测得到接近的类，接近的特征
    • attribute embedding：利用神经网络等模型映射到映射空间中，越接近的点越像
    • $f^*,g^* = \mathop{argmin}\limits_{f,g}\sum\limits_{n}max(0,k-f(x_n)g(y_n)+\mathop{max}\limits_{m\not = n}f(x_n)g(y_m) )$，k由自己定义

• unlabel & label：self-taught learning

• unlabel & unlabel：self-taught clustering

---