深度学习基础（十）迁移学习

参考文章
零样本学习–一文先了解
迁移学习综述

什么是迁移学习

传统的机械学习就是针对不同任务分别进行学习，当训练数据发生变化时需要重新训练系统。

迁移学习则是通过在源任务中学习得到的知识用来帮助新任务目标的学习，能够实现在新任务的较少训练数据时，也能达到比较好的训练效果。

层迁移Layer Transfer

语音识别替换后几层（全连接层或者最后的分类层）
图像识别替换前几层（卷积层）

原始（数据集）有标签，目标有标签

1、Fine-tune

2、Multitask Learning

原始（数据集）有标签，目标无标签

1、域对抗 Doman-adversarial training
参考GAN模式，引入domain分类器（类似于判别器）通过判别器对所有的样本进行判别，判定是否属于同一类，通过反向传播对原有的神经网络进行改进。**使得最后的domain classifier无法分辨哪些是源数据集，哪些是新的数据集。**可以理解为重新进行另外形式的特征提取。

2、零样本学习 Zero-shot Learning

零样本学习方法（ZSL），其定义是基于可见(seen)标注数据集及可见(seen)标签集合，学习并预测不可见(unseen,无标注)数据集结果

其中被广泛引用的人类识别斑马的例子：假设一个人从来没有见过斑马这种动物，即斑马对这个人来说是未见类别，但他知道斑马是一种身上有着像熊猫一样的黑白颜色的、像老虎一样的条纹的、外形像马的动物，即熊猫、老虎、马是已见类别。那么当他第一次看到斑马的时候, 可以通过先验知识和已见类，识别出这是斑马。人类通过语义知识作为辅助信息，识别了未见类，零样本学习也正是基于这样的思想、基于人类学习过程，进行算法的研究。

算法核心思想在于：

虽然物体的类别不同，但是物体间存在相同的属性，提炼出每一类别对应的属性并利用若干个学习器学习。在测试时对测试数据的属性预测，再将预测出的属性组合，对应到类别，实现对测试数据的类别预测。

下图为Hinton等在2009年的Zero-shot learning with semantic output codes这篇论文里，提到的语意输出编码方式，思想其实与DAP的思路类似，也是在之前的特征空间与标签之间增加了一层，这里增加的一层不再是数据本身的属性，而是标签本身的编码，说简单点就是NLP里面的词向量（word2vec），通过将标签进行词向量的编码，利用模型基于数据矩阵对编码进行预测，得到结果之后，通过衡量输出与各个类别词向量之间距离，判别样本的类别。