DL-Paper精读：RepVGG

RepVGG：Making VGG-style ConvNets Great Again

https://arxiv.org/abs/2101.03697

Background

VGG在神经网络的发展历史中有着举足轻重的地位，13年一举夺下ImageNet分类冠军，时至今日，依然被广泛研究和使用。虽然这些年已经有各种工作，逐渐在精度层面超越了VGG，如ResNet，Icp等经典多分支网络网络，及更近些年基于搜索的NAS类工作及RegNet等精心设计的网络。但这些网络结构，虽然在分类精度上表现出更好的优越性，但VGG简洁的架构（conv-relu-pooling的plain堆叠）依然在inference速度上表现出较好的优势。

Related work and the limit

在VGG之后的网络架构设计，比较突出的包括ResNet，Icp，DesNet等多分支结构，降低了网络运行速度及内存利用率,降低并行度。近几年的一些卷积模块设计，包括depthwise， shuffle等操作，增加了内存访问消耗，而且对很多硬件来说并不支持。这些复杂结构虽然提高了精度，也降低了FLOPs等参数，但对于实际的运行速度提升并不明显，因此在实际的工程中，VGG及基础的ResNet网络依然被广泛使用。

问题核心：VGG精度较差但有利于硬件inference;多分枝网络有利于训练，精度高，但在inference时受限

Novel points

通过重参数化操作，将多分枝网络的training和inference阶段解耦，