[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案

https://github.com/sramshetty/ShortGPT/tree/main

My剪枝方案（暂定）：

        剪枝目标：1.5B —> 100～600M

        剪枝方法：

                层粒度剪枝

                1、基于BI分数选择P%的冗余层，P=60~80

                2、对前N%冗余层，直接删除full layer。N=20（N：剪枝崩溃临界点，LLaMA2在45%，Mistral-7B在35%，Qwen在20%，Phi-2在25%）

                对后(P-N)%冗余层，删除attention layer。

                参考：