LV-ViT：All Tokens Matter: Token Labeling for Training Better Vision Transformers

这篇文章是对ViT训练的一种增强方法LV-ViT。以往的Vision Transformer 分类任务都只是应用class token聚集全局信息，用于最后的分类。作者提出将patch token也用作loss的计算。相当于将一张图像的分类问题，转换成了每个token的识别问题，每个token的分类标签是由机器生成的监督（supervision）。

原文链接：All Tokens Matter: Token Labeling for Training Better Vision Transformers
另一版：Token Labeling: Training a 85.5% Top-1 Accuracy Vision Transformer with 56M Parameters on ImageNet
源码地址： https://github.com/zihangJiang/TokenLabeling

Abstract

在本文中，提出了一个新的训练目标，即Token Labeling，用于训练高性能Vision Transformer（VIT）。ViTs的标准训练目标是在一个额外的可训练class token上计算分类损失，提出的目标是利用所有的图像patch token密集地计算训练损失。

也就是说将图像分类问题重新描述为多个token级别的识别问题，并为每个patch token分配由机器注释器生成的特定于位置的单独监督supervision。

26M的Transformer模型使用Token Labeling，能在在ImageNet上可以达到84.4%的Top-1精度。
通过将模型尺寸稍微扩大到150M，结果可以进一步增加到86.4%，使以前的模型（250M以上）中的最小尺寸模型达到86%。

1 Introduction

最近的vision transformers通常使用的class token来预测输出类，而忽略了其他patch token的作用，这些标记在各自的局部图像patch上编码了丰富的信息。

在本文中，提出了一个新的Vision Transformer训练方式称为LV-ViT，同时利用了patch token 和class token。该方法采用机器注释器生成的K维分数图作为监督，以密集方式监督所有token，其中K是目标数据集的类别数。通过这种方式，每个patch token显式地与指示相应图像patch内存在目标物体的单个位置特定监督相关联，从而在计算开销可以忽略不计的情况下提高vision Transformer的物体识别能力。这是首次证明密集监控有利于图像分类中的vision Transformer的工作。

如图，LV ViT具有56M参数，在ImageNet上产生85.4%的top-1精度，其性能优于所有其他参数不超过100M的基于Transformer的模型。当模型尺寸放大到150M时，结果可以进一步提高到86.4%。

2 Method

常规的ViT将图像分割为patch，再加入一个class token，经过多轮相似度计算后，将图像信息聚合到class token中，最后只采用图像级标签作为监督，而忽略了嵌入在每个图像块中的丰富信息。其中$X^{cls}$是最后一个Transformer Black的输出，$H(\cdot ,\cdot )$是softmax交叉熵损失，$y^{cls}$是类标签。

本文中提出了一种新的训练目标token标记，该标记利用了patch token和class token之间的互补信息。

2.1 Token