Transfer Learning 随笔

迁移学习的目标

将从一个环境中学到的知识用来帮助新环境中的学习任务,因此迁移学习不像传统机器学习那样作同分布假设

---

三个部分的工作

• 同构空间下基于实例的知识迁移能力(具有更强的知识迁移能力)
• 同构空间下基于特征的迁移学习(具有更广泛的知识迁移能力)
• 异构空间下的迁移学习(广泛的学习和扩展能力)

---

• 同构空间下基于实例的迁移学习
  只能发生在源数据和辅助数据非常相近的情况下,从辅助训练数据中找到那些适合测试数据额的实例,并将这些实例迁移到源训练数据的学习中去.

  Tradaboosting算法:
  利用boosting的技术来过滤掉辅助数据中那些与源训练样本最不像的数据.
  建立一个自动调整权重的机制,重要的辅助训练数据将会增加,不重要的辅助训练数据权重将会减少.

---

• 同构空间下基于特征的迁移学习
  基本思想是使用互聚类算法同事对源数据与辅助数据进行聚类,得到一个共同的特征表示,这个新的特征表示优于只基于源数据的特征表示

  多种学习算法:
  CoCC算法,TPLSA算法,谱分析算法(以上三个属于互聚类的跨领域分类),自学习算法(无监督学习)

• 异构空间下的迁移学习(翻译学习)
  翻译学习致力于解决源数据与测试数据分别属于不同的特征空间下的情况.
  我们的方法基于使用那些用有两个视角的数据来构建沟通两个特征空间的桥梁。虽然这些多视角数据可能不一定能够用来做分类用的训练数据，但是，它们可以用来构建翻译器。通过这个翻译器，我们把近邻算法和特征翻译结合在一起，将辅助数据翻译到源数据特征空间里去，用一个统一的语言模型进行学习与分类。