【论文阅读】Swin Transformer V2: Scaling Up Capacity and Resolution

题目：Swin Transformer V2: Scaling Up Capacity and Resolution

motivation:作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。作者要做大做强。

method:

首先，对大型视觉模型的实验揭示了训练中的不稳定性问题。

• 作者发现，在大型模型中，各层之间的激活幅度差异显著增大。仔细观察结构可以发现，这是由直接添加回主分支的残差单元的输出引起的。结果是激活值逐层累积，因此深层的振幅明显大于早期层的振幅。为了解决这个问题，作者提出了一种新的归一化配置，称为post norm，它将LN层从每个残差单元的开始移动到后端.

• 作者发现，这种新的配置在网络层上产生了更温和的激活值。作者还提出了一种**缩放余弦注意（scaled cosine attention）**来取代以前的点积注意（dot product attention） 。缩放余弦注意使得计算与块输入的振幅无关，并且注意值不太可能陷入极端。在本文的实验中，提出的两种技术不仅使训练过程更加稳定，而且提高了精度，特别是对于较大的模型。