迁移学习

1、TCA 迁移成分分析 让源域和目标域距离尽可能小

2、JDA 联合分布适配 同时适配条件分布、和边缘分布

3、How transferable are features in deep neural networks

• 神经网络的前3层基本都是general feature，进行迁移的效果会比较好；
  
• 深度迁移网络中加入fine-tune，效果会提升比较大，可能会比原网络效果还好；
  
• Fine-tune可以比较好地克服数据之间的差异性；
  
• 深度迁移网络要比随机初始化权重效果好；
  
• 网络层数的迁移可以加速网络的学习和优化

4、如何进行迁移学习

对于一个深度网络，随着网络层数的加深，网络越来越依赖于特定任务；而浅层相对来说只是学习一个大概的特征。不同任务的网络中，浅层的特征基本是通用的。这就启发我们，如果要适配一个网络，重点是要适配高层——那些task-specific的层。

DaNN；

DDC的思想非常简单：在原有的AlexNet网络的基础上，对网络的fc7层（分类器前一层）后加一层适配层（adaptation layer）。适配层的作用是，单独考察网络对源域和目标域的判别能力。如果这个判别能力很差，那么我们就认为，网络学到的特征不足以将两个领域数据区分开，因而有助于学习到对领域不敏感的特征表示。