"深度学习的迁移模型"主题报告速记与评述（四）

笔者按 ：机器学习正在走向基于“语义”的可解释模型的新时代。迁移学习很有可能接过监督学习今天的辉煌，显著提升模型的可解释性和适应性：不仅在有着大数据的领域性能优异，还能迁移到只有小数据的新领域中表现出色。

概要

CCAI主办方提供了Slides的下载链接。报告分四个主要部分，而本文主要总结和评述前三部分。
 1. 迁移学习的优势
 2. 深度迁移学习解决方案
 3. 三种迁移学习的范式
 4. 迁移学习应用案例

1. 迁移学习的优势

报告归纳了三个关键词：小数据、可靠性和个性化，我所归纳的优势就一个词——“适应性”。
 1. 适应小数据：迁移学习能够将大数据所训练的学习器迁移到只有小数据的领域。将“大数据帮助小数据”落地。
是不是很熟悉？其实Dr.Fei Sha的报告也同样关注了“小数据学习”的问题，而采用的具体实现手段不同，后者采用的是多任务学习、领域适应和零样本学习。
 2. 提升可靠性：迁移学习所训练的模型具有适应性，可以迁移到多个领域而不产生显著的性能下降。
 3. 满足个性化：其实也是适应性的体现。例如，每个人的个性化样本可能是小数据，但是在大数据训练出的迁移学习模型基础上，就能很好满足个性化的需求。

既然迁移学习这么好，最有可能接过“监督学习”的接力棒，带动下一轮的机器学习热潮。当然，监督学习还会继续发掘新的领域，而非监督学习和强化学习当然也不甘示弱。

那么，在给出解决方案之前，首先得明确问题：迁移学习的难点是什么？
报告给出的回答是：找出不变量。
什么是不变量呢？
 1. 首先，在下面第一张图中给出了个在不同条件下驾驶汽车的例子，无论是驾驶员还是自动驾驶仪，都需要寻找出在不同条件下“驾驶汽车”的共性知识(即不变量)，从而快速适应新的条件。
 2. 如果推广到一般情况，下面第二张图描述了迁移学习中不变量或者共性知识(Knowledge)