Attention Is All You Need But You Don’t Need All Of It For Inference of Large Language Models
LLaMA2在剪枝时,跳过ffn和跳过full layer的效果差不多。相比跳过ffn/full layer,跳过attention layer的影响会更小。
跳过attention layer:7B/13B从100%参数剪枝到66%,平均指标只下降1.7~1.8pp。
跳过ffn:7B/13B从100%参数剪枝到66%,平均指标下降了12.2~15.1pp。
跳过full later:7B/13B从100%参数剪枝到66%,平均指标下降了12.2~13pp。
LLaMA2在剪枝时,是否跳过最后一层的ffn/attention layer,影响不大。
The Unreasonable Ineffectiveness of the Deeper Layers
剪枝崩溃临界点:不同模型的剪枝崩溃临界点不同,LLaMA2在45%,Mistral-7B在35%,Qwen在20%,Phi-2在25%。
[论文笔记] LLM模型剪枝
最新推荐文章于 2024-09-02 20:11:28 发布