ThiNet——基于Greedy Method与最小化重建误差的Channel Selection

最新推荐文章于 2024-09-02 08:25:59 发布

Law-Yao

最新推荐文章于 2024-09-02 08:25:59 发布

阅读量2.1k

点赞数 1

分类专栏：深度学习模型压缩优化加速文章标签：深度学习模型压缩网络剪枝

本文链接：https://blog.csdn.net/nature553863/article/details/85070663

版权

ThiNet是一种基于贪心策略和最小化重建误差的深度神经网络通道剪枝方法。它通过逐层选择和剪除滤波器，保持模型性能的同时实现压缩。文章介绍了ThiNet的三个阶段：通道选择、通道剪枝和微调，并详细阐述了通道选择的优化问题及其解决方案。在ImageNet上，ThiNet成功应用于Resnet50和VGG-16，实现了高效的模型压缩和迁移效果。

摘要由CSDN通过智能技术生成

"ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression"这篇文章的主要贡献包括：1）基于贪心策略与最小化重建误差，设计了ThiNet剪枝方法，并且是规整的通道剪枝方法；2）将网络剪枝视作优化问题，并利用下一层的输入输出关系获取统计信息，以决定当前层的剪枝；3）在ImageNet数据集上，获得了良好的剪枝效果（主要是Resnet50与VGG-16），并在其他任务上取得了良好的迁移效果。

ThiNet的剪枝步骤如上图所示，对于给定的预训练模型以及固定的剪枝率，逐层裁剪冗余的滤波器（3D filters或2D kernels），总体包括通道选择、通道剪枝与fine-tuning三个阶段：1）Channel Selection：利用第i+1 层的统计信息指导第i 层的剪枝，即从第i+1 层的输入特征中提取最优子集，用于估计第i+1的输出特征，而其余输入特征以及相对应的3D filters均可被删除；2）Pruning：根据第一步通道选择的结果，剪除第i 层对应的3D filters以及第i+1 层的2D kernels，从而获得结构紧凑、纤瘦的模型（Thin-Net）；3）Fine-tuning：完成第i 层的剪枝之后，在训练集上微调1~2个epochs，以恢复因剪枝丢失的精度。在完成整个模型的剪枝之后，通常需要微调更多的epochs；4）回到第一步，完成第i+1 层的剪枝；