89.77%准确率！谷歌大脑提出CoAtNet：结合卷积和注意力

本文系统调研了CNN和Transformer的特性，并将两者结合提出新的家族式网络：CoAtNet，无额外数据时高达86%准确率，在JFT加持下，高达89.77%！性能优于CvT、BotNet和Swin等网络。

谷歌两天祭出两大Backbone，昨天的ViT-G，今天的CoAtNet…

注：别老收藏呀，欢迎点赞，支持分享！

想看更多CVPR 2021论文和开源项目可以点击：

CVPR2021-Papers-with-Code
​

CoAtNet

CoAtNet: Marrying Convolution and Attention for All Data Sizes

• 作者单位：谷歌大脑（Quoc V. Le等人）
• 论文：https://arxiv.org/abs/2106.04803

Transformers 在计算机视觉方面吸引了越来越多的兴趣，但它们仍然落后于最先进的卷积网络。在这项工作中，我们表明虽然 Transformer 往往具有更大