canyangchen的博客

论文提出了一种在transformer模型中的动态令牌稀疏化框架，其目的对输入的token序列进行动态剪枝。作者设计了一个轻量级的预测网络，通过预测当前特征下每个令牌的重要性，对token序列进行相同比例的剪枝。作者将架构运用于DeiT和LV-ViT架构中，在精确率轻微降低的情况下大大降低了模型的计算量。

传统的ViT都是在一个额外的可训练的class token上聚集全局信息用作最后的分类，并用于该令牌计算分类损失，而作者提出了一种新的高性能视觉转换器，称为LV-ViT，其特点是将图像分类问题重新定义为多个令牌级识别问题，并为每个patch token分配由机器生成的单独的特定位置的监督。

为了使Transformer模型能适应自然语言处理领取与计算机视觉领取之间的差异，论文提出了一种新的计算机视觉的通用骨干，称为Swin Transformer，为了解决这些差异，作者提出了一种借助Shifted windows进行计算的分层级的Transformer模型。窗口移动方案通过限制自注意计算，提高了计算效率移窗方案通过将自注意计算限定在非重叠的局部窗口，同时允许跨窗口连接，从而提高了效率。