迁移学习小白笔记

迁移学习简单介绍

        像人类的学习和认知过程一样，在已有知识和经验的条件下，把原来相关领域的知识和经验迁移到新的领域。在迁移学习中，原来的领域叫源域，现有目标领域叫目标域。迁移学习的思想就是利用现有的模型加上少量数据和训练时间，取得不俗的效果。减少深度学习中的时间和数据消耗而取得不错结果。

迁移学习分类

迁移学习按照学习方式可以分为基于样本的迁移，基于特征的迁移，基于模型的迁移，以及基于关系的迁移。

基于样本的迁移：通过对源域中有标定样本的加权利用完成知识迁移；

基于特征的迁移：通过将源域和目标域映射到相同的空间（或者将其中之一映射到另一个的空间中）并最小化源域和目标域的距离来完成知识迁移；

基于模型的迁移：将源域和目标域的模型与样本结合起来调整模型的参数；

基于关系的迁移：则通过在源域中学习概念之间的关系，然后将其类比到目标域中，完成知识的迁移。

迁移学习的条件：

理论上，只要有相似的特征的领域都可以将相似知识和经验（特征）迁移到目标域，但是，具体迁移学习的效果受到相似度的影响，相似度越高，迁移学习效果比较明显。

个人想法：迁移学习符合人类乃至整个生物学习的规律，即知识的迁移和经验的总结应用，随着人工智能的疯狂发展和成果突出，但是，所有的人工智能方法都有一个通病，那就是对于训练数据的依赖，简单说，就是训练的数据集必须满足包括该领域的所有特征和情况，为了解决这个问题，各路大家几乎总结了一条潜规则，那就是首先把数据集尽可能的收集，利用海量数据作为训练集，为此，又有很多扩展数据的方法方面的研究，除了传统方法，又有利用生成对抗网络（gan系列）生成数据，效果还不错，但是，仅仅通过扩展数据，是不能本质上解决对于数据集的依赖，而且，不同领域（不同的数据集）训练结果是不同的，也无法合理有效利用已有训练结果。就好比，你学了加法，不会利用加法学习乘法。所以，我们可不可以建立一个人工智能的标准接口库，可以调用各领域的知识的接口，就像搭积木（当然不是简单的组装），满足各领域人工智能的要求。这些接口可以是已经训练的小模块或者简单训练结果，用户可以根据自己的需要，搭建高级网络架构进行训练。大概结构直接上图：（手残）