A Survey on Deep Transfer Learning 总结

一个比较好论文学习
https://www.sohu.com/a/254011942_129720

1. TL解决了需要大量数据集/需要同域数据集/需要同task问题
2. DTL定义，在传统TL定义上规定f是使用神经网络的非线形模型
3. 分类：
   instances-based
   mapping-based
   network-based
   adversarial-based

instances-based

基于实例的深度迁移学习是指使用特定的权重调整策略，通过为那些选中的实例分配适当的权重，从源域中选择部分实例作为目标域训练集的补充。
尽管两个域之间存在差异，但源域中的部分实例可以分配适当权重供目标域使用。

mapping-based

基于映射的深度迁移学习是指将源域和目标域中的实例映射到新的数据空间。在这个新的数据空间中，来自两个域的实例都相似且适用于联合深度神经网络。

network-based

基于网络的深度迁移学习是指复用在源域中预先训练好的部分网络，包括其网络结构和连接参数，将其迁移到目标域中使用的深度神经网络的一部分。

adversarial-based

基于对抗的深度迁移学习是指引入受生成对抗网络（GAN）启发的对抗技术，以找到适用于源域和目标域的可迁移表征。
为了有效迁移，良好的表征应该为主要学习任务提供辨判别力，并且在源域和目标域之间不可区分。
对抗层试图区分特征的来源。如果对抗网络的表现很差，则意味着两种类型的特征之间存在细微差别，可迁移性更好，反之亦然。

conclusion

在本篇综述论文中，我们对深度迁移学习的当前研究进行了回顾和分类。并首次将深度迁移学习分为四类：基于实例的深度迁移学习，基于映射的深度迁移学习，基于网络的深度迁移学习和基于对抗的深度迁移学习。在大多数实际应用中，通常混合使用上述多种技术以获得更好的结果。

目前大多数研究都集中在监督学习上，如何通过深度神经网络在无监督或半监督学习中迁移知识，可能会在未来引发越来越多的关注。负迁移和可迁移性衡量标准是传统迁移学习的重要问题。这两个问题对深度迁移学习的影响也要求我们进行进一步的研究。

此外，为深层神经网络中的迁移知识找到更强大的物理支持是一个非常有吸引力的研究领域，但这需要物理学家、神经学家和计算机科学家的合作。可以预见，随着深度神经网络的发展，深度迁移学习将被广泛应用于解决许多具有挑战性的问题。