论文解读 Search to Distill: Pearls are Everywhere but not the Eyes，神经网络架构搜索＋知识蒸馏

Search to Distill: Pearls are Everywhere but not the Eyes

在 Auto ML 时代，神经网络架构搜索（Neural Architecture Search，NAS）已经广泛应用到了分类、检测、分割等任务。数据增强、网络结构、损失函数等等都可以用机器搜出一个比人工设计更优的方案。

今天介绍的论文 Search to Distill: Pearls are Everywhere but not the Eyes 则将第一次将 NAS 引入 知识蒸馏（Knowledge Distillation，KD）领域。作者是来自 Google 和港中文的 Yu Liu, Xuhui Jia, Mingxing Tan, Raviteja Vemulapalli, Yukun Zhu, Bradley Green, Xiaogang Wang。应该是要投 CVPR 2020。

Motivation

知识蒸馏一般是由 teacher，student 两个网络组成，teacher 一般是 ResNet 152 这样的大模型，student 一般是 Res50 这样的小模型。为了让小模型能学的更好，student 网络预测的结果不仅和 ground truth 算 loss，还和 teacher 网络的预测值算 loss。学者一直在研究如何让 teacher 教给 student 更多的内容，从而使 student 涨更多的点。

本文的作者提出一个观点：对于不同结构的 teacher 网络来说，其对应的最优 student 结构是不一样的。如下表所示，如果拿 EfficientNet-B7 做 teacher，student 2 表现比 student 1要好；但是把 teacher 换成 Inception-ResNet-v2 之后，反而是 student 1 表现比 student 2 要好。

之前人们研究 KD 为什么能 work 的时候，主要是从 teacher 提供的 soft label 比 ground truth 的 one-hot label 要好的角度来分析。但是却没有从网络结构的角度来考虑。虽