本文是LLM系列文章,针对《FoldGPT: Simple and Effective Large Language Model Compression Scheme》的翻译。
摘要
在不断升级的数据安全问题和云成本的推动下,在移动设备上部署大型语言模型 (LLM) 的需求不断增加。但是,网络带宽和内存限制为在移动设备上部署 10 亿级模型带来了挑战。在这项研究中,我们调查了不同尺度的 LLM 中不同层的输出,发现大多数层的输出表现出显着的相似性。此外,随着模型大小的增加,这种相似性变得更加明显,表明 LLM 的深度方向存在大量冗余。基于这一观察,我们提出了一种有效的模型体积压缩策略,称为 FoldGPT,它结合了块删除和块参数共享。该策略由三个部分组成:(1) 根据可学习的门控参数,我们确定区块重要性排名,同时对区块之间的耦合效应进行建模。然后我们根据给定的删除率删除一些多余的图层。(2) 对于保留的区块,我们采用了专门设计的 group 参数共享策略,其中同一 group 内的 block 共享相同的权重,从而显著压缩了参数的数量并略微降低了延迟开销。(3) 在共享这些 Block 后,我们通过少量的微调来“治愈”稀疏性引起的不匹配,并引入尾层蒸馏策略来提高性能。实验表明,Fol