PAYING MORE ATTENTION TO ATTENTION：

PAYING MORE ATTENTION TO ATTENTION : IMPROVING THE PERFORMANCE OF C NVOLUTIONAL NEURAL NETWORKS VIA ATTENTION TRANSFER

论文地址：https://arxiv.org/abs/1612.03928

github地址：https://github.com/szagoruyko/attention-transfer

文章的提出的模型结构很朴素，和大部分的知识蒸馏方式相同，教师网络通过生成的注意力图（attentior map）来指导学生网络的注意力图学习，通过attention transfer 缩小学生attentior map 和教师网络attentior map 的距离使得学生网络学习到教师网络的注意力图。这样学生网络学习到了这些知识，便能够生成尽可能与教师网络相似的特征图。

这边提一点，在学习中间层特征图，不管是热力图，注意力图还是普通的特征图，两个网络在这个地方的大小是一致的，这样才能通过距离度量计算特征图的距离。

这是hint loss的思想，不同于hint loss只是单纯缩减特征图，而是将特征图转化为注意力图，使得学生网络模型学习到的不 单纯只是特征图信息，而是真正的学到里面的特征。使得学生网络生成的特征图更加灵活，不局限于教师网络的特征图。