ACL 2022 | DQ-BART：基于联合蒸馏和量化的高效Seq2Seq模型

©PaperWeekly 原创 · 作者 | BNDSBilly

单位 | 中科院软件所

研究方向 | 自然语言处理

Abstract

大规模预训练端到端模型如 BART 和 T5 已经在各类 NLP 任务上取得了 sota 表现。然而，由于它们的大内存需求和高延迟，这些模型在资源受限的场景中的应用受到了巨大的挑战。

为解决这个问题，本文同时使用了模型蒸馏和模型量化两种方式，将 BART 模型压缩了 16.5 倍，在多个摘要和 QA 数据集上达到了与原模型相当的表现。

论文标题：

DQ-BART: Efficient Sequence-to-Sequence Model via Joint Distillation and Quantization

论文链接：

https://arxiv.org/abs/2203.11239

Introduction

预训练端到端模型如 BART 和 T5 在各类 NLP 任务（如文本摘要，机器翻译，QA，信息抽取等）上取得了很大的成功。然而，这些大规模预训练模型参数量已经达到了几亿甚至数十亿，并且还在不断增加。这导致推理期间的计算和内存资源需求很大，且很难部署到实际场景，尤其是实时及资源受限的场景。

以上问题促进了对模型压缩的研究，模型压缩可以使大规模预训练模型变快、变小，且保持与原模型相当的表现。近期模型量化收到了较多的关注，因为它不需要改变精心设计的模型结构，只需要用较少的位数来表示模型权重，从而降低模型规模。然而，对编码器-解码器结构的 transformers 模型量化的研究较少。Prato 等人利用 8-bit 量化压缩了端到端的 transformer 模型。但因为精度损失问题，不能继续压缩到 4-bit，且并不是针对大规模预训练模型的量化，也仅仅面向了机器翻译；Shleifer