本文内容:在不同位置添加RepLKBlock
目录
论文简介
我们重新审视现代卷积神经网络(cnn)中的大核设计。受视觉转换器(ViTs)最新进展的启发,在本文中,我们证明使用几个大卷积核而不是一堆小核可能是一个更强大的范例。我们提出了五条准则,例如,应用重新参数化的大深度卷积来设计高效的高性能大核cnn。遵循指导方针,我们提出了RepLKNet,一个纯CNN架构,其内核大小为31×31,而不是常用的3×3。RepLKNet极大地缩小了cnn和vit之间的性能差距,例如,在ImageNet和一些典型的下游任务上获得与Swin Transformer相当或更好的结果,并且延迟更低。RepLKNet在大数据和大模型上也表现出了良好的可扩展性,在ImageNet上获得了87.8%的top-1准确率,在ADE20K上获得了56.0%的mIoU,这在类似模型大小的最先进技术中非常具有竞争力。我们的研究进一步表明,与小核cnn相比,大核cnn具有