论文：NesT （Aggregating Nested Transformers）

Aggregating Nested Transformers

论文：https://arxiv.org/abs/2105.12723
代码：https://github.com/google-research/nested-transformer

相关阅读：更多

---

上图，整图用数字1表示，将整图分为四块（2、3、4、5），每块再分为四块（如，块2分为6、7、8、9），整体来看就像一个金字塔。

这些块经过线性映射作为输入，然后将6、7、8、9 聚合 为 2，同理聚合得到 3、4、5 。最后将2、3、4、5 聚合 为 1 。

其中每个图像块分别进行 局部 self-attention 。

---

整体层次结构可以通过下面两个关键超参数来确定，每个层次结构中的所有块共享一组参数。

• 块大小 $S\times S$
• 层次数 $T_d$

给定一个输入图像的大小 $H\times W\times 3$，将每个大小为 $S\times S$ 的图像块 线性映射 到一个词向量（词向量维度为 $d$）。然后 所有词向量 切分为块并展平生成 输入$X$（$X$的shape为$[b,T_n,n,d]，[b,4,4,s\times s]$）， b