CVPR2022 | OREPA（Online Convolutional Re-parameterization）超越 RepVGG 的在线重参数方法

文章信息

1. 文章链接: https://arxiv.org/pdf/2204.00826.pdf
2. code：https://github.com/JUGGHM/OREPA_CVPR2022

内容摘要

不同于之前的 RepVGG 和 DBB 训练多分枝和测试单分枝（重参数聚合多分枝 conv op 为单分支 conv，有效减少测试时间），文章提出来一种全新的在线重参数方法，在训练过程中也可以通过重参数加速训练，在 inference 时，通过融合 BN 进一步加快 inference 时间。相对 RepVGG 和 DBB，该论文的方法无容置疑又向前走了一步。

论文方法简介

实验数据

通过对比 DBB 和 RepVGG，OREPA 的方法有少量精度提升，论文主要贡献点还是在线重参数化概念和训练加速。

论文总结和展望

这篇论文通过分析 BN 对各分支的影响，拆解出 scale op，将重参数方法应用于训练过程，近一步加快了训练速度，对于 AI model training 有较大的意义，无疑完善了重参数的架构和理论，是一个相当不错的工作。