LoRAP: Transformer Sub-Layers Deserve Differentiated Structured Compression for Large Language Model

本文是LLM系列文章，针对《LoRAP: Transformer Sub-Layers Deserve Differentiated Structured
Compression for Large Language Models》的翻译。

摘要

大型语言模型（LLM）在困难的任务中表现出色，但它们通常需要大量的内存和计算资源。如何减小LLM的参数尺度已成为研究热点。在这项研究中，我们观察到transformer的多头自关注（MHA）子层表现出明显的低秩结构，而前馈网络（FFN）子层则没有。在这方面，我们设计了一种混合压缩模型，该模型将低秩矩阵近似和结构化修剪（LoRAP）有机地结合在一起。对于MHA子层，我们提出了一种输入激活加权奇异值分解方法来增强低秩特性。此外，我们发现MHA子层中的权重矩阵具有不同的低秩度。因此，设计了一种根据低秩度差异的新参数分配方案。对于FFN子层，我们提出了一种无梯度的结构化信道修剪方法。在修剪过程中，我们得到了一个有趣的发现，即最不重要的1%的参数实际上在模型性能中起着至关重要的作用。对零样本困惑和零样本任务分类的广泛评估表明，在多种压缩比下，我们的建议优于以前的结构化压缩竞争对手。

1 引言

2 背景

3 提出的方法

4 实验

5 结论

与现有的以相同方式压缩LLM的Transformer模块的工作不同，这项工作提出了一种名为LoRAP的混合结构压缩模型，该模型对Transformer的不同子层分别采