目录
一、理论部分
在计算机视觉领域,最近的研究表明,以全连接层堆叠为主的纯MLP架构可以达到与CNN和transformer相媲美的性能。视觉MLP的输入图像通常被分割成多个标记(patch),而现有的MLP模型直接将它们以固定的权重进行聚合,忽略了来自不同图像的标记的不同语义信息。为了动态聚合标记,我们建议将每个标记表示为具有振幅和相位两部分的波函数。振幅是原始特征,相位项是根据输入图像的语义内容而变化的复值。引入相位项可以动态调节MLP中令牌与定权之间的关系。基于类波标记表示,我们建立了一种新的用于视觉任务的WaveMLP架构。大量的实验表明,在图像分类、目标检测和语义分割等各种视觉任务上,所提出的Wave-MLP架构优于最先进的MLP架构。