论文名称：Outlier Suppression: Pushing the Limit of Low-bit Transformer Language Models--突破低比特量化瓶颈

一、摘要

该工作从这类模型的量化瓶颈-结构化异常值出发，探究了异常值的来源以及裁剪影响。【我的理解：本文的核心】针对这两方面【1、异常值的来源；2、裁剪影响】的发现，作者提出了Outlier Suppression framework（异常值抑制框架），其中包括Gamma Migration和Token-Wise Clipping两个组件来抑制异常值从而得到更好的量化精度。该框架能够即插即用，适合多种模型（BERT，RoBERTa，BART等）、多个任务（分类任务、问答任务，摘要生成任务等）。相比于已有的SOTA方法，该框架首次将6比特BERT的离线量化精度提高到接近全精度模型水平。该方法凭借扎实的分析、高效的方法设计和显著的提升效果受到审稿人的一致认可，得到777的高评分。
论文地址：论文地址：https://arxiv.org/abs/2209.13325

原论文摘要翻译：

Transformer architecture已经成为广泛存在的自然语言处理（NLP）模型的基本元素。随着大型NLP模型的发展趋势，内存和计算成本的增加阻碍了它们在资