本文介绍了一种新的结构剪枝方法——基于生成对抗网络（GAN）的结构剪枝（GAL）。这种方法将剪枝网络作为生成器，预训练模型作为基准，通过对抗学习和软掩模来优化网络结构，实现低精度损失的剪枝。GAL避免了多阶段优化、硬掩模和样本标注的依赖，提高了剪枝过程的效率和灵活性。实验表明，GAL在保持高推理精度的同时，能够实现更好的结构稀疏化。
"Towards Optimal Structured CNN Pruning via Generative Adversarial Learning" 这篇文章提出了非常新颖的结构剪枝策略：基于生成对抗的思路，将剪枝网络设置为生成器（Generator），其输出特征作为Fake，并设置Soft Mask门控一些异质结构的输出（如通道、分支、网络层或模块等）；将预训练模型设置为Baseline，Baseline的输出特征作为Real；再引入判别器（Discriminator）与正则化约束，一方面对齐生成器与Baseline的输出，另一方面驱使生成器中的Soft Mask稀疏化（mask value介于0到1之间），最终达到低精度损失的结构剪枝的目的。基于GAL（Generative Adversarial Learning）的剪枝策略总体如下图所示：
基于GAL的剪枝策略能够克服现有结构剪枝技术的不足，不足之处具体表现在：1）相对耗时的多阶段优化，迭代执行剪枝与fine-tuning；2）通常采用hard pruning mask，不够松弛、较难优化学习；3）训练或正则化过程依赖于样本
最低0.47元/天 解锁文章
388
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
