LLaMA2-7B模型剪枝

LLaMA2-7B 模型压缩背景

LLaMA2-7B 等大规模语言模型拥有数十亿参数，推理延迟和显存占用都很高。为了在资源有限的场景下加速推理，我们可以通过模型裁剪（pruning）和模型压缩技术，将 LLaMA2-7B 缩减至类似 LLaMA2-2B 规模，同时尽量保持原模型的性能。常用的方法包括结构化剪枝、通道/稀疏剪枝、低秩分解、量化辅助剪枝以及蒸馏融合等。以下分别介绍这些方法的原理、代表工作、开源实现及对 LLaMA2 的适用示例。

结构化剪枝（Structured Pruning）

结构化剪枝指从模型中去掉完整的结构单元，如整个 Transformer 层、注意力头、MLP 通道等。相较于无结构剪枝（稀疏化），结构化剪枝所删减的权重可以更好地被现有矩阵乘法库（GPU/CPU）加速利用，因此更易提升实际推理速度。典型操作包括：

• 深度剪枝（Depth Pruning）：删除部分 Transformer 层（blocks）。例如 Shortened LLaMA 等工作发现，只保留前若干层即可在显存受限时大幅加速。Shortened LLaMA