迁移学习

迁移学习概论

迁移学习中主要研究三个问题：
迁移什么： 指跨域或跨任务迁移哪一部分知识。一些知识可能是特定于单个域或任务的，而一些知识可能在不同域之间是相同的，通过迁移知识的选择可以帮助提高目标域或任务的性能。目前，迁移学习的内容主要分为四类：实例迁移、特征表示迁移、参数迁移、关系知识迁移。
如何迁移： 发现可以迁移的知识之后，需要开发学习算法来迁移知识。
何时迁移： 指的在什么情况下可以进行迁移，在哪些情况下不应该迁移。在某些情况下，当源域和目标域彼此不相关时，强行进行迁移可能会失败。而在最坏的情况下，它甚至可能损害目标域的学习表现，这种情况通常被称为负迁移。如何避免负迁移仍旧是迁移学习领域备受关注的问题。
举例说明迁移学习的概念。想象一下，你从一个完全陌生的领域学习一个主题。你会采取什么不同的方法来理解这个主题？可能会：

• 网上搜寻资源
• 阅读文章和博客
• 参考书籍
• 寻找视频教程，等等

所有这些都会帮助你熟悉这个主题。在这种情况下，你是唯一一个付出所有时间来熟悉主题的人。但还有一种方法，它可能在短时间内产生更好的结果。你可以咨询对你想要学习的主题具有能力的领域/主题专家。这个人会把他/她的知识传授给你，从而加快你的学习过程。这就是迁移学习背后的思想，是不是很简单！
对于神经网络和卷积神经网络就是从零开始学习的例子。这两个网络都从给定的一组图像中提取特征(对于与图像相关的任务)，然后根据这些提取的特征将图像分类在各自的类中，这就是迁移学习和预训练的模型非常有用的地方。

预训练模型

在你将要从事的任何深度学习项目中，预训练的模型都是非常有用的。并非所有人都拥有顶级科技巨头的无限计算能力，相反我们需要使用我们本地有限的机器，需要用到一个强大的工具——预训练模型。
预训练模型是由特定人员或团队为解决特定问题而设计和训练的模型。在训练神经网络和CNNs等模型时学习了权重和偏置，当这些权重和偏置与图像像素相乘时，有助于生成特征。
有$n$种预训练过的模型。我们需要决定哪种模式最适合我们的问题。现在考虑下三个与训练好的网络——$BERT、ULMFiT$和$VGG16$。其中，语言建模使用$BERT$和$ULMFiT$，图像分类任务使用$VGG16$。对于图像分类问题，理应选择$VGG16$。$VGG16$可以有不同的重量，即$VGG16$训练在$ImageNet$或$VGG16$训练在$MNIST$：

$ImageNet$与$MNIST$

现在我们对问题确定正确的预训练模型，应该研究这些$ImageNet$与$MNIST$的数据集。$ImageNet$数据集是由1000个类和总共120万张图像组成。其中包括一些类别是动物、汽车、商店、狗、食物和仪器等。$MNIST$是训练手写数字的。包括由0到9共10类。
之后，我们根据自己的需求选择合适的网络模型从而进行迁移学习。