ViT结构优化——Searching the Search Space (S3 NAS)

Paper地址：https://arxiv.org/abs/2111.14725

GitHub链接：https://github.com/microsoft/Cream

概述

网络结构搜索（NAS: Neural-network Architecture Search）的设计收敛，首先取决于搜索空间的设计收敛，其次取决于搜索算法的设计收敛，最终结合平台约束、生成一系列符合Trade-off的优化解（构成Pareto-front）。针对Vision-Transformer，为了获得较之AutoFormer更好的One-shot结构优化效果，AutoFormerV2 (S3 NAS)通过搜索空间的自动优化（Searching the Search Space），实现了不同搜索维度的优化更新，从而获得最佳搜索候选集合（Candidate choices）。

ViT基本模型结构

如上图所示，ViT (Vision-Transformer)的模型结构，主要分为Monolithic结构与Multi-stage结构：

• Monolithic结构：每个Transformer block输出的Patch embeddings，其序列长度与特征维度均相同，因此计算复杂度相对较高，典型如ViT、DeiT；
• Multi-stage结构：
  • 将模型划分为多个Stage；在每个Stage内部，Patch embeddings的序列长度与特征维度相同；不同Stage之间，通过Patch merging模块完成特征过渡，实现序列长度降采样、特征维度增长；