[论文阅读] RepVGG

论文地址：https://arxiv.org/abs/2101.03697

代码地址：https://github.com/DingXiaoH/RepVGG

作者单位：清华大学(丁贵广团队)， 旷视科技(孙剑等人)，港科大， 阿伯里斯特威斯大学

一、主要思路

① 为每一个3 $\times$ 3卷积层添加平行的1 $\times$ 1卷积分支和恒等映射分支，构成一个RepVGG Block；

② 区别在于ResNet是每隔两层或三层加一个分支，而我们是每层都加；

③ 将20多层3 $\times$ 3卷积堆起来，分成5个stage，每个stage的第一层是stride=2的降采样，每个卷积层用Relu作为激活函数。

二、模块图解

三、如何实现将训练模型转换成单一的 3x3 卷积用于 inference

四、RepVGG的优点

① 该模型具有类似VGG的前馈拓扑，没有任何分支。即每一层都将其唯一的前一层的输出作为输入，并将输出馈送到其唯一的下一层。

② 模型仅使用3*3的卷积和激活函数ReLU。

③ 特定的深度和层宽，无需自动搜索，手动优化，复合缩放或其他繁琐的设计。

五、本文的贡献

① 提出了一种简单又强有的CNN架构RepVGG，相比EfficientNet、RegNet等架构，RepVGG具有更佳的精度-速度均衡；

② 提出采用重新参数化技术对训练时的多分支拓扑与推理时的纯体系结构分离；

③ 在图像分类、语义分割等任务上验证了RepVGG的简便性和有效性。