静态剪枝与动态剪枝

.

分类

通道修剪方法可以分为两种类型：静态和动态（运行时）。
静态：评估每个通道在训练数据集上的重要性,并删除最不重要的通道,以最大限度地减少修剪后的性能损失。
动态：实现对每个单独实例的动态通道修剪，即旨在评估运行时的通道重要性（在不同的输入实例，通道重要性是不同的）通过动态修剪通道,可以将不同的修剪结构视为CNN内数据流的不同路径。

优缺点

与静态方法相比,运行时修剪能够显着提高CNN的表示能力,从而在预测精度方面取得更好的性能。然而,运行时方法以存储成本与动态灵活性为代价（因为要实现对不同个体实例的动态剪枝,需要存储内核的所有参数(甚至引入更多参数)）。这使得运行时方法不适用于资源有限的边缘设备。此外,大多数运行时方法仅独立评估每个单层中通道之间的重要性,而没有考虑层间效率的差异。