Structured Pruning Learns Compact and Accurate Models
文章目录
前言
今天读了一篇论文《Structured Pruning Learns Compact and Accurate Models》,主要讲的是如何结合剪枝和蒸馏对模型进行压缩,以实现好的效果。
主流策略
目前压缩模型的主流的方法无非两种:剪枝(Pruning)和蒸馏(Distillation),下面分别说一下两者的优势和劣势。
剪枝
Advantages | Disadvantages |
---|---|
显著地减少模型的大小 | 很难像蒸馏那样实现大幅度地加速 |
蒸馏
Advantages | Disadvantages |
---|---|
显著地减少模型的大小 | 需要大量无标注数据 |
速度快 |