知识蒸馏论文的一些自己总结

本文只是对论文的一些总结，不关注于具体细节公式，主要是了解思想，如果有空我会专门的开博客对一些论文进行细节讲述，如果本文说明有问题的，欢迎联系我，欢迎指正。

一. Attention Transfer

Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer：https://arxiv.org/abs/1612.03928

该文章启发于CNN中的注意力机制，利用teacher模型的中间层生成空间注意力图（spatial-attention），是一种热力图，图像中越感兴趣的地区颜色越红。

 

和大部分的知识蒸馏方式相同，教师网络通过生成的注意力图（attentior map）来指导学生网络的注意力图学习，通过attention transfer 缩小学生attentior map 和教师网络attentior map 的距离使得学生网络学习到教师网络的注意力图。这样学生网络学习到了这些知识，便能够生成尽可能与教师网络相似的特征图。

这边提一点，在学习中间层特征图，不管是热力图，注意力图还是普通的特征图，两个网络在这个地方的大小是一致的，这样才能通过距