【笔记】几个概念：域自适应、注意力机制和知识蒸馏

本文记录了如题所述的三个概念的学习笔记，更新于2019.06.05。

域自适应

域自适应学习（Domain Adaptation Learning）能够有效地解决训练样本和测试样本概率分布不一致的学习问题。在传统的机器学习算法中，通常假设训练样本和测试样本来自同一概率分布，然后设计相应的模型和判别准则对待测试的样例的输出进行预测。但是，很多场景下是不满足这个概率分布相同的约束的，域自适应学习问题就是为了解决这种源域和目标域概率分布不一致的情况。

自适应学习假设：

• 协变量迁移假设
• 概念迁移（Concept shift）假设
• 先验概率迁移（Prior probability shift）

分类：

从不同的学习场景看，域自适应学习可分为：分类问题、回归问题和聚类问题。
解决多源域自适应学习问题的方法可以分为三大类：基于源于判别函数学习的方法、基于正则化项加权组合的方法和基于流形平滑性假设的方法。

理论分析：

域自适应学习理论研究主要集中于：

1. 学习的可行性：满足什么条件才可能实现域自适应学习？
2. 学习的鲁棒性：域自适应学习的鲁棒性与普通意义上的鲁棒性是不同的，在域自适应学习的鲁棒性中，将训练样本分布和测试样本分布之间存在的差异视为“扰动”，通过克服扰动，实现对目标域的学习。
3. 学习的统计估计一致性：域自适应学习算法应使用尽可能少的样本数，具有尽可能好的泛化能力，实现最小的误差上界。

注意力机制

注意力机制（Attention Mechanism）源于对人类视觉的研究，主要有两个方面：决定需要关注输入的哪部分；分配有限的信息处理资源给重要的部分。在计算能力有限的情况下，注意力机制是解决信息超载问题的主要手段（一种资源分配方案），将计算资源分配给更重要的任务。

注意力一般分为两种：

• 聚焦式（focus）注意力：自上而下的有意识的注意力，有预订目的、依赖任务的、主动有意识地聚焦于某一对象的注意力。
• 基于显著性（saliency-based）的注意力：自下而上无意识的注意力，由外界刺激驱动的注意，不需要主动干预，和任务无关。如果一个对象的刺激信息不同于其周围信息，一种无意识的赢者通吃（winner-take-all）或门控（gating）机制就可以把注意力转向这个对象。

知识蒸馏

每个部分的大概介绍可以看参考文献。

Hinton的文章《Distilling the Knowledge in a Neural Network》中首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂，但推理能力优越）相关的软目标（soft-target）作为整体损失的一部分，以诱导学生网络（student network：精简、低复杂度）的训练，实现知识迁移。

二者也可以联合训练，论文地址。

这篇文章重新定义了整体损失。代码。

多教师方法。

Hint-based Knowledge Transfer，代码。

Attention to Attention Transfer，代码。

Flow of the Solution Procedure

Knowledge Distillation with Adversarial Samples Supporting Decision Boundary

Label Refinery：Improving ImageNet Classification through Label Progression，代码。

更多内容，欢迎加入星球讨论。