蒸馏预训练模型架构：深度自注意力蒸馏（NeurIPS 2020） MINILM

论文个人理解

目的：

这篇paper介绍了蒸馏预训练模型的通用架构（预训练蒸馏）， 与所有模型蒸馏方法一样，解决的也是student模型和teacher模型的GAP，怎么使用参数量小、推理时间短的student模型尽可能获取teacher模型的能力

方法

1. 深度自注意力蒸馏： 蒸馏self-attention矩阵和value-value矩阵
2. 助手机制：当teacher和student模型参数差异很大时，先使用teacher蒸馏assistant，再使用assistant蒸馏到student

结论

1. 在自然语言理解任务上吊打DistillBERT和TinyBERT（当时state of art）
2. 在自然语言生成、多语言任务上取得不错的效果（competitive performance）

论文精读

摘要

本篇论文提出跟任务无关，蒸馏预训练模型的通用架构，只蒸馏teacher最后一层的self-attention矩阵和value-value矩阵，并且提出助手机制（助手机制也就是为什么MiNILM能获得State of art的原因）

        从上图看出，DistillBERT需要隐层维度相同（通常student先进行矩阵映射到和teacher相同的维度）、TinyBERT是采用层层映射的关系（例如student两层，那么蒸馏映射关系12-2，6-1），MobileBERT就是全都要，并且逐层蒸馏。不同于之前的蒸馏方法，MiniLM只蒸馏最后一层的attention矩阵和value-value矩阵（方便好用有木有）

模型结构

模型结构如上图介绍，主要是两块Attention Transfer和Value-Relation Transform

蒸馏细节

1. Attention：如上图所示，Attention就是Q（Queries）、K（Keys）计算的矩阵，如果bert参数设置head-number设置为12，那么最后一层就是12*seq*seq维度的Attention（seq代表文本长度），这个一般bert内部都计算好了；
2. Value-Relation：就是values矩阵的平方，计算可参考Q、K计算Attention的过程；
3. Transfer：代表attention和value-relation怎么蒸馏到student上的Loss，本文采用KL-loss（文中作者实验论证了的确比MSE好）

论文成果

对比之前提出的DistillBERT、TinyBERT，MiniLM取得state of art效果

消融实验

1. 加入value-Relation蒸馏比不加入效果好

   

2. 使用KL-loss比MSE好

   

3. MiniLM比逐层蒸馏好

自然语言生成

自然语言生成任务模型取的不错的效果（competitive result)

1. 问题生成

   

2. 摘要总结

多语言任务

1. 分类

   

2. 问答