nopSled

摘要 注意力机制，尤其是自注意力，在视觉任务的深度特征表示中发挥着越来越重要的作用。Self-attention通过使用跨所有位置的成对计算特征的加权总和来更新每个位置的特征，以捕获单个样本中的长期依赖性。然而，自注意力具有二次复杂性，忽略了不同样本之间的潜在相关性。本文提出了一种新的注意力机制，我们称之为外部注意力，基于两个外部的、小的、可学习的，且参数共享的存储器，只需使用两个级联的线性层和两个归一化层就可以轻松实现；它方便地取代了现有流行架构中的自注意力。外部注意力具有线性复杂度，隐含地考虑了所有样本

摘要 我们提出了ResMLP，一种完全基于多层感知器进行图像分类的体系结构。它是一个简单的残差网络，它包含（i）线性层，其中图像patches在通道之间独立且相同地交互；以及（ii）两层前馈网络，其中通道中的每个patch独立地相互作用。当采用现代的训练策略进行训练时，使用大量的数据扩展和可选的蒸馏方法，可以在ImageNet上获得一个令人惊讶的精度/复杂度之间的折衷。我们将共享基于Timm库进行预训练的模型代码。 1.介绍 最近的工作中，仅通过很小的改动就适应了最初在自然语言处理中使用的transform

摘要 　　卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络（例如Vision Transformer）也变得很流行。在本文中，我们表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。我们介绍了MLP-Mixer，这是一种完全基于多层感知器（MLP）的体系结构。MLP-Mixer包含两种类型的层：一种将MLP应用于图像单个patches（即“混合”每个位置特征），另一种将MLP应用到多个patches（即“混合”空间信息）。在大型数据集上进行训练或采用现代正则化方案进行训练时