【第67篇】论文翻译——CoAtNet：结合卷积和注意力 适用于所有数据大小

摘要

Transformers 在计算机视觉方面吸引了越来越多的兴趣，但它们仍然落后于最先进的卷积网络。在这项工作中，我们表明虽然 Transformer 往往具有更大的模型容量，但由于缺乏正确的归纳偏差，它们的泛化可能比卷积网络更差。为了有效地结合两种架构的优势，我们提出了 CoAtNets（发音为“coat”nets），这是一个基于两个关键见解构建的混合模型系列： (1)depthwise Convolution和self-Attention可以通过简单的相对注意力自然地统一起来； (2)