Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration

最新推荐文章于 2023-01-31 00:08:12 发布

Luna_Lovegood_001

最新推荐文章于 2023-01-31 00:08:12 发布

阅读量611

点赞数

分类专栏：模型压缩实验文章标签：深度学习

本文链接：https://blog.csdn.net/qq_43110298/article/details/112647075

版权

模型压缩实验专栏收录该内容

7 篇文章 0 订阅

订阅专栏

该文提出了一种名为FPGM的滤波器剪枝方法，通过计算几何中位数来选择可替代的滤波器，避免了依赖于范数的剪枝准则。这种方法在CIFAR-10数据集上表现出色，挑战了传统的基于范数大小的剪枝策略。FPGM方法考虑了滤波器的可替代性和分布特性，适用于不同的网络层和输入条件，且不需要固定的阈值。相比之前的权重剪枝和滤波器剪枝技术，FPGM提供了一种新的角度来优化神经网络的结构。

摘要由CSDN通过智能技术生成

Abstract

解释了以前的工作中用的“基于范数的准则”，它需要在两个条件下才可以有效：
1.范数的方差要大
2.范数的最小值要比较小（我倒是觉得这个还是比较容易满足的）
提出了：Filter Pruning via Geometric Median (FPGM),
在Cifai10 上取得了好成绩（感觉有点low）

Introduction

现在的剪枝可以由两类：
1.weight pruning （导致非结构化稀疏）
- learning compression algorithms for neural net pruning.
- Learning both weights and connections for efficient neural network.
2.filter pruning （文章想说的）
- Pruning networks using neuron importance score propagation.
- Pruning filters for efficient ConvNets.
现在的一些基于大小准则的剪枝方法（如图1a）：
1.Pruning filters for efficient ConvNets.
2.Rethinking the smaller-norm-less-informative assumption in channel pruning of convolution layers
3.Soft filter pruning for accelerating deep convolutional neural networks.

如果这样做有效的话，那么所有层的剪枝后对整体的影响就一样了，此外他这个还需要一个阈值，这个阈值也可以根据层改变，阈值确定的标准也可以依据层变化。
本文提出的 FPGM 剪枝算法不选择最大范数准则，选择计算所有filter 的 GM ，来找到最容易被替代的 filter。原理：某个卷积核可以被相似的线性替代。

RelatedWorks

Weight Pruning

learning compression algorithms for neural net pruning[11].
一种基于迭代的方法，每次去掉小于阈值的weight
Learning both weights and connections for efficient neural network.
最小化损失函数