引言
经典的卷积神经网络(ConvNet)VGG [31]在图像识别中取得了巨大的成功,其简单的架构由conv、ReLU和池化的堆栈组成。随着Inception [33,34,32,19]、ResNet [12]和DenseNet [17]的出现,许多研究兴趣转向了设计良好的架构,使得模型越来越复杂。一些最近的架构基于自动[44,29,23]或手动[28]架构搜索,或搜索的复合缩放策略[35]。
尽管许多复杂的ConvNet比简单的ConvNet具有更高的精度,但缺点也很明显
- 复杂的多分支设计(例如,ResNet中的跳跃连接和Inception中的分支级联)使得模型难以实现和定制,减慢了推理速度,降低了内存利用率
- 一些组件(例如,Xception [3]和MobileNets [16,30]中的深度卷积和ShuffleNet [24,41]中的通道重排)增加了存储器访问成本,并且缺乏对各种设备的支持。由于影响推理速度的因素太多,浮点运算(FLOPs)的数量并不能精确地反映实际速度。
由于多分支结构的优点都是用于训练ÿ
本文介绍了RepVGG,一种通过结构重参数化技术解决VGG型ConvNet在训练和推理阶段效率问题的方法。在多分支结构中训练以获取高性能,然后转换为简单的单路径模型以提高推理速度和内存利用率。通过Conv2d+BN融合实验,RepVGG旨在平衡模型性能与效率。
订阅专栏 解锁全文

2462

被折叠的 条评论
为什么被折叠?



