A Survey on Transfer Learning 总结

Introduction

1. TL在数据挖掘和机器学习小样本的时候起到作用，本文主要是说在data mining中的知识。
2. 三个例子：web-document classification，新的网页的数据特征和数据分布与之前学习的可能不同；wifi location problem，新时刻的标签数据与旧时刻不同；sentiment classification，需要大量的标签数据来学习。

Overview

1. 发展历史
2. 定义：
3. TL的分类
   
   inductive TL：D和T的task不同，有标签
   transductive TL：D和T的domain不同，有标签
   unsupervised TL:D和T的task不同，无标签
   
4. TL的方法
   
   instance实例TL：如何从源域中挑选出对目标域有用的实例；
   feature特征TL：如何找出D和T中共同的特征；
   parameter共享参数TL：TD模型空间的共享参数；
   relational：找到不同域数据的relation

Induction Transfer Learning

1. induction+instance
   
   u是矩阵，将样本x映射到低维空间，task1～n在低位空间表示可在参数a下表现目标，因此u变换后的空间是一个共享的可以表示不同task的空间。
   即：找出不同task的共同低维空间特征
   经典方法：AdamBoost
2. induction+parameter
   假设不同但有联系的task分享模型的参数或者超参数分布
   经典算法：MT-IVM（多任务的高斯过程分享参数）；
   多任务的HB to SVM：
   
   w0可以看成共享参数，svm为共享的模型
3. induction+ralational
   找到不同域数据的relation
   经典方法：MAMAR

Transduction Transfer Learning

1. 定义
   
   注意：some unlabeled target-data must be available in training time
2. transduction+instance
   经典方法：
   
   估计p/p的方法有很多，如KMM方法
   
3. transductive+feature
   经典算法SCL：使用T的未标签数据延伸出一些特征，这些特征能够缩小两个域的差距

Unsupervised Transfer Learning

1. 定义
   Definition 4 (Unsupervised Transfer Learning). Given a source domain DS with a learning task T S , a target domain DT and a corresponding learning task T T , unsupervised transfer learning aims to help improve the learning of the target predictive function ft in DT using the knowledge in DS and TS,whereTS 不等于TT andYS andYT are not observable.
2. unsupervised+feature
   self-taught clustering是一种 unsupervised+feature

Applications of Transfer Learning

1. text data across domain
2. NLP
3. sentiment classification
4. image classification
5. name-entity recognition
6. wifi location
7. identify the relevant feature subset
8. reinforce learning
9. rating-matrix 单域、跨域 协同过滤 推荐