AMiner论文推荐

论文名称：ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting
论文地址：https://www.aminer.cn/pub/61501dc89e795ea79c657854?f=cs
效果是相当SOTA的：ImageNet top1-acc为76.15%的标准ResNet-50（torchvision标准模型），剪掉超过一半FLOPs，还是76.15%。（目前绝大多数效果较好的paper都是剪一半FLOPs，top1-acc掉到75%左右。）这篇的实验是2020年四五月份做的，这一结果至今应该还是SOTA。
ResRep这个名字包括两部分：Res指的是Gradient Resetting，本文提出的一种魔改SGD更新规则；Rep指的是Convolutional Re-parameterization，也就是本文的核心。所以，这一方法也是“重参数化宇宙”的一部分，可以看成重参数化方法论在剪枝领域的成功应用。我想到这个idea主要是是因为我想用结构重参数化来做剪枝，拓展重参数化的应用领域，觉得这样做很有意思。
顺便再提一下结构重参数化代表作，一叠3x3卷积堆起来的RepVGG，GitHub 2000star，最新版达到84.16% ImageNet top-1，反超若干Transformer！RepVGGplus的工作正在进展中！
AMiner,让AI帮你理解科学！https://www.aminer.cn