百度提出动态自蒸馏方法，结合交互模型与双塔模型实现稠密段落检索

©PaperWeekly 原创 · 作者 | Maple小七

单位 | 北京邮电大学

研究方向 | 自然语言处理

论文题目：

ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval

论文链接：

http://arxiv.org/abs/2205.09153

Introduction

由无论是在工业界还是学术界，知识蒸馏 (Knowledge Distillation, KD) 都是一个很常见的模型压缩和涨点刷分手段，以 Hinton 范式为代表的传统知识蒸馏通常会假设 teacher 和 student 有着相同的模型结构，其中 teacher 通常有着更多的模型层数和更大的隐层维度。在知识蒸馏的过程中，蒸馏损失的设计通常与任务相关，但其基本思想是最小化 student 和 teacher 预测结果的差异。 

一些早期的针对大规模预训练语言模型的知识蒸馏工作，比如 DistilBERT、TinyBERT 和 MobileBERT，通常会在最小化模型输出结果差异的基础上，加入额外的隐层特征一致性损失和注意力分布一致性损失，从而提升 teacher 模型的知识转化率，得到性能更优的 student 模型。 

然而，在针对稠密检索模型的知识蒸馏的相关研究中，虽然目前已经有很多工作尝试过将表达能力更强的交互模型 (Cross-Encoder) 或延迟交互模型 (ColBERT) 蒸馏到推理速度更快的双塔模型 (Dual-Encoder) 中，实验结果也充分证明了知识蒸馏对于双塔模型训练的有效性，但是这些工作均采用的是跨结构知识蒸馏 (cross-architecture paradigm)，即 teacher (Cross-Encoder) 和 student (Dual-Encoder) 的模型结构有较大差异。

另外，模型结构的天然差异也导致了目前的工作均采用了仅蒸馏模型顶层 logits 输出的蒸馏损失，而没有考虑蒸馏 teacher 和 student 模型的隐层特征或注意力分布。 

基于此，一个自然的问题是，当 teacher 和 student 的模型结构存在差异时，传统的知识蒸馏的效果是否会打折呢？如果会的话，我们应该如何去设计一个更有效的知识蒸馏范式呢？ 

针对这个问题，本文提出了两个面向稠密检索模型的蒸馏策略：交互蒸馏 (Interaction Disitllation) 和级联蒸馏 (Cascade Distillation)，如果将这两个蒸馏策略结合起来，就得到了该论文标题中提到的名词：动态自蒸馏 (self on-the-fly distillation)。由于是度厂出品，采用该蒸馏策略的训练得到的模型被命名为 ERNIE-Search，ERNIE-Search 在 MARCO 和 NQ 检索数据集上均取得了 SOTA 性能（虽然没出几天就被超越了）。

Methodology

在之前的工作中，Cross-Encoder 和 ColBERT 是两类常见的 teacher 模型结构，虽然前者表达能力更强，但由于其计算复杂度过高，人们通常采用样本间无交互的 MSE 或 MarginMSE 损失进行知识蒸馏，