FasterViT: Fast Vision Transformers with Hierarchical Attention

FasterViT: Fast Vision Transformers with Hierarchical Attention

本文引入了层次注意力（Hierarchical Attention）的Carrier Token（CT），该令牌以低成本获得比局部窗口更大的注意力足迹。
层次注意力具体步骤为：

1. 划分输入特征图为$n\times n$局部窗口，得到特征图${\hat{x}}_1$。
2. CT计算。首先通过卷积和池化初始化CT。$\begin{array}{rl}{\hat{\mathbf{x}}}_{\mathbf{c}}& ={\mathrm{Conv}}_{3\times 3}(\mathbf{x})\\ {\hat{\mathbf{x}}}_{\mathbf{ct}}& ={\mathrm{AvgPool}}_{H^2\to n^{2}L}\left({\hat{\mathbf{x}}}_{\mathbf{c}}\right),\end{array}$
   ${\mathrm{Conv}}_{3\times 3}$是高效位置编码。这些池化令牌表示对应局部窗口的摘要。CT初始化对于每个分辨率阶段只经历一次。
   CT经过如下注意力过程：$\begin{array}{l}{\hat{\mathbf{x}}}_{\mathbf{ct}}={\hat{\mathbf{x}}}_{\mathbf{ct}}+{\gamma }_1\cdot \mathrm{MHSA}\left(\mathrm{LN}\left({\hat{\mathbf{x}}}_{\mathbf{ct}}\right)\right),\\ {\hat{\mathbf{x}}}_{\mathbf{ct}}={\hat{\mathbf{x}}}_{\mathbf{ct}}+{\gamma }_2\cdot {\mathrm{MLP}}_{d\to 4d\to d}\left(\mathrm{LN}\left({\hat{\mathbf{x}}}_{\mathbf{ct}}\right)\right),\end{array}$
3. 为建模短距离和长距离空间信息，计算局部和Carrier令牌间交互（${\hat{x}}_1,{\hat{x}}_{ct,1}$）。首先合并局部特征和CT。每个局部窗口只能获得对应CT。${\hat{x}}_w=\text{Concat}([{\hat{x}}_1,{\hat{x}}_{ct,1}])$。这些令牌经过另一个注意力流程：$\begin{array}{rl}{\hat{\mathbf{x}}}_{\mathbf{w}}& ={\hat{\mathbf{x}}}_{\mathbf{w}}+{\gamma }_1\cdot \mathbf{MHSA}(\mathrm{LN}({\hat{\mathbf{x}}}_{\mathbf{w}})),\\ {\hat{\mathbf{x}}}_{\mathbf{w}}& ={\hat{\mathbf{x}}}_{\mathbf{w}}+{\gamma }_2\cdot {\mathrm{MLP}}_{d\to 4d\to d}(\mathrm{LN}({\hat{\mathbf{x}}}_{\mathbf{w}})).\end{array}$。
4. 令牌被进一步拆分并用于后续的分层注意力层