【论文阅读】viT翻译

Inductive bias. We note that Vision Transformer has much less image-specific inductive bias than CNNs. In CNNs, locality, two-dimensional neighborhood structure, and translation equivariance are baked into each layer throughout the whole model. In ViT, only MLP layers are local and translationally equivariant, while the self-attention layers are global. The two-dimensional neighborhood structure is used very sparingly: in the beginning of the model by cutting the image into patches and at fine-tuning time for adjusting the position embeddings for images of different resolution (as described below). Other than that, the position embeddings at initialization time carry no information about the 2D positions of the patches and all spatial relations between the patches have to be learned from scratch.

归纳偏好。我们注意到，与CNN相比，Vision Transformer的图像特定归纳偏好要少得多。在CNN中，局部性、二维邻域结构和平移等变性被嵌入到整个模型的每个层中。在ViT中，只有多层感知机（MLP）层是局部的和具有平移等变性的，而自注意力层是全局的。二维邻域结构的使用非常有限：在模型的开始通过将图像切割成小块，以及在微调时调整不同分辨率图像的位置嵌入（如下所述）。除此之外，初始化时的位置嵌入不包含关于小块的二维位置的信息，所有小块之间的空间关系都必须从头开始学习。

Hybrid Architecture. As an alternative to raw image patches, the input sequence can be formed from feature maps of a CNN (LeCun et al., 1989). In this hybrid model, the patch embedding projection E (Eq. 1) is applied to patches extracted from a CNN feature map. As a special case, the patches can have spatial size 1x1, which means that the input sequence is obtained by simply flattening the spatial dimensions of the feature map and projecting to the Transformer dimens

3.2 FINE-TUNING AND HIGHER RESOLUTION

这段文字描述了如何将Vision Transformer（ViT）从预训练阶段迁移到特定下游任务的微调阶段，以及如何处理不同分辨率的图像。

1. 预训练和微调（Pre-training and Fine-tuning）：

   • 预训练是指在大量数据上训练模型以学习通用特征。微调是指在特定任务的数据上进一步训练模型，以适应该任务。

2. 预测头（Prediction Head）：

   • 预测头是模型的一部分，通常在预训练后被移除或替换，以便模型能够在微调时适应新的任务。

3. 前馈层（Feedforward Layer）：

   • 前馈层是神经网络中的一层，它接收输入并产生输出，但不包含反馈连接。在这里，它被用来替换预训练的预测头，以适应新的分类任务。

4. 分辨率（Resolution）：

   • 分辨率是指图像的清晰度，通常与图像的像素数量相关。在微调时使用更高的分辨率可以提供更多的细节信息。

5. 块大小（Patch Size）：

   • 在ViT中，图像被分割成小块（patches），块大小是指每个小块的尺寸。在处理更高分辨率的图像时，保持块大小不变会导致每个块包含更多的像素。

6. 序列长度（Sequence Length）：

   • 在ViT中，图像块被转换为序列，序列长度是指这个序列中的元素数量。有效序列长度增加意味着模型需要处理更多的信息。

7. 位置嵌入（Position Embeddings）：

   • 位置嵌入是向模型提供关于序列中每个元素位置信息的向量。在ViT中，这些嵌入帮助模型理解图像块的空间关系。

8. 二维插值（2D Interpolation）：

   • 二维插值是一种数学方法，用于根据已知点的值估计新点的值。在这里，它用于调整位置嵌入，以适应更高分辨率的图像。

总的来说，这段文字强调了在将ViT应用于下游任务时，如何处理不同分辨率的图像，并确保模型能够适应这些变化。通过调整位置嵌入和块提取，模型能够保持对图像二维结构的理解，这对于图像识别任务至关重要。

4 EXPERIMENTS

我们评估了ResNet、Vision Transformer（ViT）和混合模型的表征学习能力。为了理解每个模型的数据需求，我们在不同大小的数据集上进行预训练，并评估多个基准任务。在考虑预训练模型的计算成本时，ViT的表现非常有利，在大多数识别基准测试中以较低的预训练成本达到最先进的水平。最后，我们进行了一个使用自监督的小实验，并展示了自监督ViT对未来的承诺。

讲解： 这段文字概述了对几种不同类型的深度学习模型（ResNet、Vision Transformer和混合模型）在表征学习方面的能力进行评估的研究工作。

1. 表征学习能力（Representation Learning Capabilities）：

   • 表征学习能力指的是模型从数据中学习到的内在特征和模式的能力。这些学习到的表征可以用于各种下游任务，如分类、检测等。

2. 数据需求（Data Requirements）：

   • 数据需求指的是模型达到最佳性能所需的数据量。不同的模型可能需要不同量的数据来学习有效的表征。

3. 预训练（Pre-training）：

   • 预训练是指在大量数据上训练模型以学习通用特征的过程。这些特征可以在后续的微调过程中迁移到特定任务。

4. 计算成本（Computational Cost）：

   • 计算成本涉及到训练模型所需的计算资源，包括时间、内存和处理器能力等。在这段文字中，ViT在预训练阶段的计算成本较低，但性能却很出色。

5. 识别基准（Recognition Benchmarks）：

   • 识别基准是指用于评估模型性能的标准测试集和评估指标。在这些基准测试中，ViT达到了最先进的性能。

6. 自监督学习（Self-Supervision）：

   • 自监督学习是一种无监督学习方法，它不依赖于人工标注的数据。在自监督学习中，模型通过解决自己生成的预测任务来学习数据的表征。

7. 自监督ViT（Self-Supervised ViT）：

   • 这是Vision Transformer的一个变体，它使用自监督学习来训练模型。这种方法在未来的研究中显示出潜力，因为它可能减少对大量标注数据的依赖。

总的来说，这段文字强调了Vision Transformer在表征学习方面的有效性，尤其是在预训练阶段的计算成本和性能方面。同时，它也指出了自监督学习作为一种有前景的方法，可能会在未来的模型训练中发挥重要作用。

4.1 SETUP

数据集。为了探索模型的可扩展性，我们使用了包含1000个类别和130万张图像的ILSVRC-2012 ImageNet数据集（以下简称为ImageNet），它的超集ImageNet-21k包含21000个类别和1400万张图像（Deng et al., 2009），以及包含18000个类别和3.03亿高分辨率图像的JFT（Sun et al., 2017）。我们根据Kolesnikov等人（2020）的方法，从下游任务的测试集中去除了预训练数据集的重复项。我们将在这些数据集上训练的模型转移到几个基准任务上：使用原始验证标签和清理过的ReaL标签的ImageNet（Beyer et al., 2020），CIFAR-10/100（Krizhevsky, 2009），牛津-IIIT Pets（Parkhi et al., 2012），以及牛津 Flowers-102（Nilsback & Zisserman, 2008）。对于这些数据集，预处理遵循Kolesnikov等人（2020）的方法。

讲解： 这段文字描述了在深度学习研究中，如何使用不同的数据集来评估和比较模型的性能和可扩展性。

1. ILSVRC-2012 ImageNet数据集：

   • 这是一个广泛使用的图像识别数据集，包含1000个类别和大约130万张图像。它通常用于训练和评估图像分类模型。

2. ImageNet-21k：

   • 这是ImageNet的一个扩展版本，包含更多的类别（21000个）和更多的图像（1400万张）。它提供了更丰富的视觉概念，用于训练更强大的模型。

3. JFT数据集：

   • JFT是一个非常大的图像数据集，包含18000个类别和超过3亿张高分辨率图像。它用于训练大规模的模型，以探索模型在处理大规模数据时的性能。

4. 去重（De-duplicate）：

   • 在预训练模型时，为了避免在预训练和下游任务中使用相同的数据，需要去除预训练数据集中与下游任务测试集重复的部分。

5. 基准任务（Benchmark Tasks）：

   • 这些是用于评估模型性能的标准测试，包括ImageNet、CIFAR-10/100、牛津-IIIT Pets和牛津 Flowers-102等。这些任务提供了一个公平的比较平台。

6. 预处理（Pre-processing）：

   • 在训练模型之前，需要对数据进行预处理，如调整图像大小、归一化等。预处理的步骤和参数设置对于模型的性能有重要影响。

7. 模型转移（Transfer the Models）：

   • 这是指将在一个数据集上预训练的模型应用到另一个数据集或任务上。这是迁移学习的一种形式，可以利用在大规模数据集上学到的知识来提高在特定任务上的性能。

总的来说，这段文字强调了在不同的数据集上预训练模型，并在多个基准任务上评估模型的可扩展性和性能的重要性。通过这种方法，研究者可以了解不同模型在处理不同规模和复杂性的数据时的表现，并选择最适合特定任务的模型。

我们还对19项任务的VTAB分类套件（Zhai et al., 2019b）进行了评估。VTAB评估了低数据迁移到多样化任务的能力，每个任务使用1000个训练样本。任务被分为三个组：自然——像上述的Pets、CIFAR等任务；专业——医学和卫星图像；结构化——需要几何理解的任务，如定位。

讲解： 这段文字描述了如何使用VTAB（Visual Task Adaptation Benchmark）来评估模型在不同任务上的迁移学习能力，特别是在数据较少的情况下。

1. VTAB分类套件（VTAB Classification Suite）：

   • VTAB是一个用于评估视觉模型在多种任务上迁移学习能力的基准测试套件。它由多个不同的任务组成，旨在模拟现实世界中的视觉识别挑战。

2. 低数据迁移（Low-Data Transfer）：

   • 低数据迁移是指在目标任务上只有很少的训练数据可用时，模型如何利用在源任务上学到的知识。这测试了模型的泛化能力。

3. 训练样本（Training Examples）：

   • 在VTAB中，每个任务只提供1000个训练样本，这是一个相对较小的数据集，用于测试模型在有限数据情况下的性能。

4. 任务分组（Task Groups）：

   • VTAB将任务分为三个不同的组，以覆盖不同类型的视觉识别挑战：
     • 自然组：包括Pets、CIFAR等自然图像数据集，这些任务通常涉及日常生活中的对象。
     • 专业组：包括医学和卫星图像等专业领域的任务，这些任务可能需要特定的领域知识。
     • 结构化组：包括需要几何理解的任务，如定位，这些任务可能涉及空间关系和对象的精确位置。

5. 评估目的（Evaluation Purpose）：

   • 通过在VTAB上评估，研究者可以了解模型在不同类型的任务上的表现，以及模型在面对新任务时的适应能力。

总的来说，这段文字强调了在多样化任务上评估模型的重要性，特别是在数据受限的情况下。VTAB提供了一个平台，让研究者可以测试和比较不同模型在多种视觉任务上的迁移学习能力。通过这种评估，可以更好地理解模型的泛化能力和在实际应用中的潜力。

对于基线CNN，我们使用ResNet（He et al., 2016），但将批量归一化层（Ioffe & Szegedy, 2015）替换为组归一化（Wu & He, 2018），并使用了标准化卷积（Qiao et al., 2019）。这些修改改善了迁移学习（Kolesnikov et al., 2020），我们将修改后的模型称为“ResNet (BiT)”。对于混合模型，我们将中间特征图输入到ViT中，块大小为一个“像素”。为了尝试不同的序列长度，我们要么（i）采用常规ResNet50的第四阶段输出，要么（ii）移除第四阶段，将相同数量的层放入第三阶段（保持总层数不变），并采用这个扩展的第三阶段的输出。选项（ii）导致序列长度增加4倍，并且需要一个更昂贵的ViT模型。

讲解： 这段文字描述了在构建基线卷积神经网络（CNN）和混合模型时所做的一些特定修改，以及如何通过调整模型结构来实验不同的序列长度。

总的来说，这段文字强调了在构建和评估深度学习模型时，对模型架构进行细微调整的重要性，以及如何通过改变序列长度来实验和优化模型性能。

1. 基线CNN：

   • 基线模型是指用于比较的其他模型性能的标准模型。在这里，基线CNN是指使用ResNet架构的模型。

2. ResNet：

   • ResNet（He et al., 2016）是一种深度残差网络，它通过引入跳跃连接解决了深度网络中的梯度消失问题。

3. 批量归一化（Batch Normalization）：

   • 批量归一化是一种在训练神经网络时用于提高性能和稳定性的技术。

4. 组归一化（Group Normalization）：

   • 组归一化是批量归一化的一种替代方法，它不依赖于批次大小，适用于小批量或单样本的情况。

5. 标准化卷积（Standardized Convolutions）：

   • 标准化卷积是指在卷积操作中应用归一化，以提高模型的性能和泛化能力。

6. 迁移学习（Transfer Learning）：

   • 迁移学习是指将在一个任务上训练的模型应用到另一个相关任务的过程。

7. ResNet (BiT)：

   • 这是经过修改的ResNet模型，使用了组归一化和标准化卷积，以改善模型的迁移能力。

8. 混合模型（Hybrids）：

   • 混合模型结合了CNN和Transformer的特点，利用CNN提取的特征图作为ViT的输入。

9. 序列长度（Sequence Length）：

   • 在Transformer模型中，序列长度指的是输入序列中的元素数量。在这里，通过调整模型结构来改变序列长度，以观察其对模型性能的影响。

10. ViT模型的计算成本：

    • 序列长度越长，ViT模型的计算成本越高，因为需要处理更多的数据。

训练与微调。我们训练所有模型，包括ResNets，使用Adam优化器（Kingma & Ba, 2015），其中β1 = 0.9，β2 = 0.999，批量大小为4096，并应用高权重衰减0.1，我们发现这对所有模型的迁移都是有用的（附录D.1显示，与常见做法相反，在我们的设置中，Adam比SGD对ResNets稍微更有效）。我们使用线性学习率预热和衰减，详见附录B.1。对于微调，我们对所有模型使用带有动量的SGD，批量大小为512，详见附录B.1.1。对于表2中的ImageNet结果，我们在更高分辨率下进行了微调：ViT-L/16为512，ViT-H/14为518，并且还使用了Polyak & Juditsky（1992）平均化，因子为0.9999（Ramachandran et al., 2019; Wang et al., 2020b）。

讲解： 这段文字描述了在深度学习模型训练和微调过程中使用的方法和策略。

1. Adam优化器：

   • Adam是一种自适应学习率优化算法，它结合了动量和RMSProp的概念，通常在训练深度学习模型时表现良好。

2. 超参数β1和β2：

   • 这些是Adam优化器的超参数，用于控制学习率的更新。

3. 权重衰减：

   • 权重衰减是一种正则化技术，用于防止模型过拟合，通过在损失函数中添加一个与权重大小成比例的惩罚项。

4. 学习率预热和衰减：

   • 学习率预热是指在训练开始时逐渐增加学习率，而衰减是指随着训练的进行逐渐减小学习率，这有助于模型在训练初期快速收敛，在训练后期稳定下来。

5. SGD与动量：

   • SGD（随机梯度下降）是一种优化算法，动量是一种加速技术，可以加速SGD的收敛并减少震荡。

6. 微调：

   • 微调是指在预训练模型的基础上，针对特定任务进行额外的训练。

7. 高分辨率微调：

   • 在微调时使用比预训练更高的图像分辨率，可以帮助模型更好地学习图像的细节。

8. Polyak & Juditsky平均化：

   • 这是一种模型参数的平均化技术，用于提高模型的稳定性和性能。

指标。我们通过少样本或微调准确率来报告下游数据集上的结果。微调准确率反映了在相应数据集上微调每个模型后的性能。少样本准确率是通过解决一个正则化最小二乘回归问题获得的，该问题将训练图像子集的（冻结的）表征映射到{−1, 1}^K目标向量。这种公式允许我们以封闭形式恢复确切的解。虽然我们主要关注微调性能，但我们有时使用线性少样本准确率进行快速的即时评估，如果进行微调成本太高的话。

讲解： 这段文字描述了在评估下游任务时使用的两种性能指标：微调准确率和少样本准确率。

总的来说，这段文字强调了在评估模型性能时，根据具体情况选择合适的评估方法的重要性。微调准确率提供了模型在特定任务上经过充分训练后的性能指标，而少样本准确率则提供了在数据有限时模型快速适应任务的能力。这两种方法都有助于全面理解模型在不同条件下的性能。

1. 微调准确率（Fine-tuning Accuracies）：

   • 微调准确率是指在特定数据集上对预训练模型进行微调后，模型在该数据集上的性能。这是衡量模型在特定任务上经过进一步训练后性能的常用指标。

2. 少样本准确率（Few-shot Accuracies）：

   • 少样本准确率是指在只有很少标签数据可用的情况下，模型的性能。在这种情况下，模型需要在有限的数据上快速适应新任务。

3. 正则化最小二乘回归（Regularized Least-squares Regression）：

   • 这是一种统计方法，用于在存在噪声和不确定性的情况下，找到数据的最佳拟合。在这里，它用于将模型的表征映射到目标标签上。

4. 封闭形式的解（Closed-form Solution）：

   • 封闭形式的解是指可以直接计算出的解，而不是通过迭代方法逐步逼近的解。在这种情况下，模型可以快速地给出准确的预测。

5. 即时评估（On-the-fly Evaluation）：

   • 即时评估是指在没有足够时间进行完整微调的情况下，快速评估模型性能的方法。这在需要快速决策或资源有限的情况下非常有用。

6. 成本考虑（Cost Consideration）：

   • 在某些情况下，微调可能需要大量的计算资源和时间。因此，使用少样本准确率作为快速评估的替代方法，可以在不牺牲太多准确性的情况下节省资源。

4.2 COMPARISON TO STATE OF THE ART

我们首先将我们最大的模型——ViT-H/14和ViT-L/16——与文献中最先进的CNN进行比较。第一个比较点是Big Transfer (BiT)（Kolesnikov et al., 2020），它使用大型ResNets进行有监督迁移学习。第二个是比较Noisy Student（Xie et al., 2020），这是一个使用半监督学习在ImageNet和JFT300M上训练的大型EfficientNet，训练时去除了标签。目前，Noisy Student在ImageNet上是最先进的，而BiT-L在此处报告的其他数据集上是最先进的。所有模型都是在TPUv3硬件上训练的，我们报告了预训练每个模型所花费的TPUv3核心天数，即用于训练的TPU v3核心数（每个芯片2个）乘以训练时间（天数）。

这段文字描述了如何将Vision Transformer（ViT）模型与当前文献中最先进的卷积神经网络（CNN）进行性能比较。

总的来说，这段文字强调了在比较不同模型的性能时，需要考虑模型的规模、训练方法、使用的硬件以及计算资源的消耗。通过这些比较，研究者可以了解不同模型在特定任务上的优势和局限性。

表2显示了结果。较小的ViT-L/16模型在JFT-300M数据集上预训练后，在所有任务上的表现都超过了在同一数据集上预训练的BiT-L，同时在训练过程中需要的计算资源大大减少。更大的模型，ViT-H/14，在更具挑战性的数据集上进一步提高了性能——ImageNet、CIFAR-100和VTAB套件。有趣的是，这个模型在预训练时所需的计算量仍然大大少于之前的最先进水平。然而，我们注意到预训练效率可能不仅受架构选择的影响，还受到其他参数的影响，如训练计划、优化器、权重衰减等。我们在第4.4节提供了不同架构的性能与计算量的对照研究。最后，ViT-L/16模型在公共的ImageNet-21k数据集上预训练，在大多数数据集上也表现良好，同时预训练所需的资源更少：它可以使用具有8个核心的标准云TPUv3在大约30天内训练完成。

1. 最大模型（Largest Models）：

   • 指的是在比较中使用的ViT模型的较大版本，具体为ViT-H/14和ViT-L/16，其中"H"和"L"可能代表模型的大小，"14"和"16"代表输入图像块的大小。

2. Big Transfer (BiT)：

   • BiT是一种有监督迁移学习方法，它使用大型ResNet模型在多个数据集上进行预训练，然后迁移到其他任务上。

3. Noisy Student：

   • Noisy Student是一种半监督学习方法，它使用带有噪声的标签（即不完全准确的标签）来训练大型EfficientNet模型。

4. ImageNet和JFT300M：

   • ImageNet是一个广泛使用的图像识别数据集，而JFT300M是一个更大的数据集，用于训练大规模的模型。

5. TPUv3硬件：

   • TPU（Tensor Processing Unit）是谷歌开发的一种专门用于加速机器学习工作负载的硬件加速器。TPUv3是第三代TPU。

6. TPUv3核心天数（TPUv3-core-days）：

   • 这是一个衡量训练模型所需计算资源的指标，它考虑了训练过程中使用的TPU核心数量和训练的总天数。

7. 性能比较：

   • 文本提到了在ImageNet和其他数据集上的性能比较，其中Noisy Student在ImageNet上表现最佳，而BiT-L在其他数据集上表现最佳。

讲解： 这段文字讨论了不同规模的Vision Transformer（ViT）模型在多个数据集上的性能，并与现有的最先进模型进行了比较。

总的来说，这段文字强调了ViT模型在预训练阶段的高效率和在多个数据集上的优异性能，同时也指出了在评估模型性能时需要考虑的多种因素。

表2：在流行的图像分类基准测试中与最先进技术的比较。我们报告了在三次微调运行中平均准确率的均值和标准差。在JFT-300M数据集上预训练的Vision Transformer模型在所有数据集上的表现都超过了基于ResNet的基线模型，同时在预训练时所需的计算资源大大减少。在较小的公共ImageNet-21k数据集上预训练的ViT也表现良好。∗在Touvron et al. (2020)中报告了略微提高的88.5%的结果。

1. 模型性能（Model Performance）：

   • 文本提到了两个不同规模的ViT模型（ViT-L/16和ViT-H/14）在多个任务上的性能表现。

2. 预训练数据集（Pre-training Datasets）：

   • 模型在JFT-300M和ImageNet-21k这两个数据集上进行了预训练。这些数据集的大小和复杂性不同，影响了模型的预训练效果。

3. 计算资源（Computational Resources）：

   • 计算资源指的是训练模型所需的硬件能力，如TPU核心数和训练时间。文本指出ViT模型在训练效率上有优势，即使用较少的计算资源就能达到或超过现有模型的性能。

4. 挑战性数据集（Challenging Datasets）：

   • 某些数据集（如ImageNet、CIFAR-100和VTAB套件）由于其复杂性和多样性，对模型的泛化能力提出了更高的要求。

5. 预训练效率（Pre-training Efficiency）：

   • 预训练效率是指在预训练阶段达到一定性能所需的计算资源量。ViT模型在预训练效率上表现出色，这意味着它们可以在较短的时间内使用较少的资源进行训练。

6. 其他影响因素（Other Influencing Factors）：

   • 除了模型架构，训练计划、优化器选择、权重衰减等其他参数也会影响预训练效率和模型性能。

7. 性能与计算量的对照研究（Performance vs. Compute Controlled Study）：

   • 文本提到将在报告的后续部分提供一个对照研究，比较不同架构在性能和计算量方面的表现。

这段文字提供了一个性能比较的概述，涉及Vision Transformer（ViT）模型与基于ResNet的模型在图像分类任务上的表现。

总的来说，这段文字强调了ViT模型在图像分类任务上的高效性和优越性能，即使在资源有限的情况下也能取得良好的结果。同时，它也指出了在不同的预训练数据集上，ViT模型都能展现出强大的迁移学习能力。

1. 性能比较（Performance Comparison）：

   • 表2展示了ViT模型与当前最先进技术（state of the art）在多个图像分类基准测试中的比较结果。

2. 准确率的均值和标准差（Mean and Standard Deviation of Accuracies）：

   • 报告了在三次微调过程中计算出的准确率的平均值和标准差，这是统计学中常用的方法，用于描述数据的集中趋势和离散程度。

3. 预训练数据集（Pre-training Datasets）：

   • 讨论了两个不同的预训练数据集：JFT-300M和ImageNet-21k。JFT-300M是一个大型数据集，而ImageNet-21k是一个较小但公共可用的数据集。

4. 计算资源（Computational Resources）：

   • 指出ViT模型在预训练阶段所需的计算资源比基于ResNet的模型要少，这表明ViT模型在效率上有优势。

5. 公共ImageNet-21k数据集（Public ImageNet-21k Dataset）：

   • ImageNet-21k是一个广泛使用的图像分类数据集，包含21000个类别。ViT模型即使在这种较小的数据集上预训练，也能在多个基准测试中表现良好。

6. 略微提高的结果（Slightly Improved Result）：

   • 文本提到了Touvron et al. (2020)中报告的一个略微提高的准确率结果，这可能是指在某个特定任务或数据集上，ViT模型的性能有所提升。

翻译： 图2将VTAB任务分解为各自的组，并与此基准上的先前最先进方法进行了比较：BiT、VIVI（一种在ImageNet和Youtube上共同训练的ResNet，Tschannen et al., 2020），以及S4L（在ImageNet上的监督加半监督学习，Zhai et al., 2019a）。ViT-H/14在自然和结构化任务上超越了BiT-R152x4和其他方法。在专业任务上，前两个模型的性能相似。

讲解： 这段文字描述了Vision Transformer（ViT）模型在VTAB（Visual Task Adaptation Benchmark）任务中的表现，并将其与几种先前最先进（SOTA）的方法进行了比较。

VTAB任务分组（VTAB Task Groups）：

• VTAB是一个包含多种视觉任务的基准测试套件，这些任务被分为不同的组，如自然、结构化和专业任务。

先前最先进方法（Previous SOTA Methods）：

• 文本提到了几种先前在VTAB基准测试中表现最好的方法，包括BiT、VIVI和S4L。这些方法代表了在ViT模型之前的最佳性能。

总的来说，这段文字强调了ViT模型在不同类型任务上的适应性和性能，特别是在自然和结构化任务上的优越表现。这表明ViT模型能够有效地处理多种视觉任务，并且在某些任务上超越了先前的最先进方法。

4.3 PRE-TRAINING DATA REQUIREMENTS

1. • BiT-R152x4：

     • 这是Big Transfer（BiT）方法中使用的一种特定规模的ResNet模型，它在多个任务上进行了预训练。

   • ViT-H/14：

     • 这是Vision Transformer模型的一个变体，其中"H"表示“大型”，"14"表示输入图像块的大小为14x14像素。这个模型在自然和结构化任务上的表现优于BiT-R152x4。

   • 自然和结构化任务（Natural and Structured Tasks）：

     • 自然任务通常涉及日常物体和场景的识别，而结构化任务则需要对图像中的几何关系和空间结构有深入的理解。

   • 专业任务（Specialized Tasks）：

     • 专业任务通常需要特定领域的知识和理解，如医学成像或卫星图像分析。

   • 性能比较（Performance Comparison）：

     • 文本指出，ViT-H/14在自然和结构化任务上的表现优于BiT-R152x4和其他方法，而在专业任务上，ViT-H/14和BiT-R152x4的性能相似。

Vision Transformer在大型JFT-300M数据集上预训练时表现良好。与ResNets相比，它对视觉的归纳偏好更少，那么数据集大小的重要性如何呢？我们进行了两系列的实验。

讲解： 这段文字提出了一个关于Vision Transformer（ViT）模型的关键问题，并概述了研究这个问题的方法。

总的来说，这段文字强调了在视觉任务中，对于一个没有像传统CNN那样强烈视觉归纳偏好的模型，数据集大小对模型性能的影响是一个值得研究的问题。通过实验，研究者可以更好地理解Vision Transformer在不同数据条件下的行为，并为未来的模型设计和训练提供指导。

1. Vision Transformer的表现（Performance of Vision Transformer）：

   • Vision Transformer是一种基于Transformer架构的视觉模型，它在图像识别任务上表现出色，尤其是在大型数据集上进行预训练后。

2. 归纳偏好（Inductive Biases）：

   • 归纳偏好是指模型对数据的先验假设，这些假设有助于模型从数据中学习。例如，卷积神经网络（ResNets）具有对图像局部性和平移等变性的偏好。

3. 数据集大小的重要性（Importance of Dataset Size）：

   • 数据集大小对于模型学习特征和泛化能力至关重要。较大的数据集通常包含更多的样本和更丰富的特征，有助于模型学习到更泛化的特征表示。

4. 实验系列（Series of Experiments）：

   • 为了研究数据集大小对Vision Transformer性能的影响，作者设计了两系列的实验。这些实验可能包括在不同大小的数据集上训练模型，并评估其在特定任务上的性能。

5. 目的（Purpose）：

   • 这些实验的目的是理解数据集大小对于Vision Transformer模型性能的影响，以及在视觉任务中，与具有更多视觉特定归纳偏好的模型（如ResNets）相比，ViT对数据集大小的依赖程度。

翻译： 首先，我们在大小逐渐增加的数据集上预训练ViT模型：ImageNet、ImageNet-21k和JFT300M。为了提高在较小数据集上的性能，我们优化了三个基本的正则化参数——权重衰减、dropout和标签平滑。图3显示了在ImageNet上微调后的结果（其他数据集上的结果显示在表5中）。当在最小的数据集，ImageNet上预训练时，尽管有（适度的）正则化，ViT-Large模型的表现不如ViT-Base模型。在ImageNet-21k上预训练时，它们的性能相似。只有在JFT-300M上预训练时，我们才看到了更大模型的全部优势。图3还展示了不同大小的BiT模型所涵盖的性能区域。BiT CNN在ImageNet上的表现超过了ViT，但随着数据集的增大，ViT超越了。

讲解： 这段文字描述了在不同规模的数据集上预训练Vision Transformer（ViT）模型的实验，以及正则化技术对模型性能的影响。

预训练数据集（Pre-training Datasets）：

• 实验涉及三个不同规模的数据集：ImageNet、ImageNet-21k和JFT300M。这些数据集在图像数量和类别上有所不同，提供了不同复杂性的预训练环境。

正则化参数（Regularization Parameters）：

• 为了提高模型在较小数据集上的性能，作者优化了三个正则化参数：权重衰减、dropout和标签平滑。这些技术有助于防止模型过拟合，提高模型的泛化能力。

微调（Fine-tuning）：

• 预训练后的模型在ImageNet数据集上进行了微调，以评估其在特定任务上的性能。

模型性能（Model Performance）：

• 文本指出，当在最小的ImageNet数据集上预训练时，较大的ViT-Large模型表现不如较小的ViT-Base模型，即使应用了正则化技术。这表明在数据较少的情况下，模型规模的增加并不一定能带来性能的提升。

总的来说，这段文字强调了数据集规模对于模型性能的重要性，以及在不同数据条件下，正则化技术如何帮助模型提高泛化能力。此外，它还揭示了在大规模数据集上，更大的ViT模型能够发挥出更好的性能。

复制再试一次分享

1. • 数据集规模与模型性能（Dataset Size and Model Performance）：

     • 当数据集规模增大到ImageNet-21k和JFT300M时，ViT-Large模型的性能得到了提升，尤其是在JFT300M数据集上，大模型的优势更加明显。

   • BiT模型（BiT Models）：

     • 文本还提到了BiT（Big Transfer）模型，这些模型在ImageNet上的表现超过了ViT。但是随着数据集规模的增大，ViT模型的性能逐渐超越了BiT模型。

   • 性能区域（Performance Region）：

     • 图3展示了不同大小的BiT模型在性能上的差异，说明了模型规模对性能的影响。

其次，我们在9M、30M和90M的随机子集以及完整的JFT300M数据集上训练我们的模型。我们不对较小的子集进行额外的正则化，并为所有设置使用相同的超参数。这样，我们评估的是模型的内在属性，而不是正则化的效果。然而，我们使用了早停法，并报告了在训练过程中达到的最佳验证准确率。为了节省计算资源，我们报告的是少样本线性准确率，而不是完整的微调准确率。图4包含了结果。在较小的数据集上，Vision Transformers比具有可比计算成本的ResNets更容易过拟合。例如，ViT-B/32比ResNet50略快；在9M子集上表现更差，但在90M+子集上表现更好。ResNet152x2和ViT-L/16也是如此。这一结果加强了这样的直觉：对于较小的数据集，卷积归纳偏好是有用的，但对于更大的数据集，直接从数据中学习相关模式是足够的，甚至是有益的。

讲解： 这段文字描述了在不同规模的数据子集上训练Vision Transformer（ViT）和ResNet模型的实验，以及对模型在不同数据规模下的过拟合情况进行了分析。

1. 数据子集训练（Training on Subsets）：

   • 作者在JFT300M数据集的不同大小的子集（9M、30M、90M）上训练模型，以及在整个数据集上进行训练，以评估模型在不同数据量下的表现。

1. 正则化和超参数（Regularization and Hyper-parameters）：

   • 在较小的数据子集上没有进行额外的正则化处理，并在所有实验设置中使用相同的超参数，以评估模型的内在属性。

2. 早停法（Early Stopping）：

   • 早停法是一种防止过拟合的技术，通过在验证集上的性能不再提升时停止训练来实现。

3. 少样本线性准确率（Few-shot Linear Accuracy）：

   • 为了节省计算资源，作者报告了少样本线性准确率，而不是进行完整的微调。少样本线性准确率是一种快速评估模型泛化能力的方法。

4. 过拟合（Overfitting）：

   • 文本指出，Vision Transformers在较小数据集上比ResNets更容易过拟合。过拟合是指模型在训练数据上表现很好，但在未见过的数据上表现不佳。

5. 卷积归纳偏好（Convolutional Inductive Bias）：

   • 卷积层在图像处理中具有捕捉局部特征和空间层次结构的能力，这种归纳偏好对于较小的数据集特别有用。

6. 数据规模与模型性能（Dataset Size and Model Performance）：

   • 实验结果表明，对于较大的数据集，直接从数据中学习模式是足够的，甚至更有益，这表明在大量数据的情况下，模型可以更好地泛化。

总的来说，这段文字强调了在不同规模的数据集上训练模型时，需要考虑模型的内在属性和数据的复杂性。对于较小的数据集，模型可能需要更多的归纳偏好来捕捉数据中的模式；而对于较大的数据集，模型可以通过学习数据中的直接模式来提高性能。

翻译： 总体而言，ImageNet上的少样本结果（图4）以及VTAB上的低数据结果（表2）对于极低数据迁移似乎很有前景。对ViT的少样本属性进行进一步分析是未来工作的一个令人兴奋的方向。

讲解： 这段文字总结了Vision Transformer（ViT）在少样本学习任务上的表现，并提出了未来研究的方向。

1. 少样本结果（Few-shot Results）：

   • 少样本结果指的是在只有少量标注数据可用的情况下模型的性能。在这种情况下，模型需要能够快速适应并从有限的数据中学习。

2. ImageNet和VTAB：

   • ImageNet是一个广泛使用的图像分类数据集，而VTAB（Visual Task Adaptation Benchmark）是一个用于评估模型在多种视觉任务上迁移学习能力的基准测试套件。

3. 极低数据迁移（Very Low-data Transfer）：

   • 极低数据迁移是指在目标任务上可用的数据非常有限时，如何有效地将模型从一个任务迁移到另一个任务。

4. 前景（Seeming Promising）：

   • 文本中提到，ViT在ImageNet和VTAB上的少样本学习结果看起来很有前景，这意味着ViT在处理少量数据时表现出了良好的适应性和学习能力。

5. 未来工作方向（Direction of Future Work）：

   • 对ViT的少样本属性进行进一步分析是一个令人兴奋的未来研究方向。这可能包括探索不同的训练策略、正则化技术或模型架构，以提高模型在少样本情况下的性能。

6. 少样本属性（Few-shot Properties）：

   • 少样本属性指的是模型在只有少量样本可用时的性能特征。这些属性对于理解模型如何在数据稀缺的环境中学习和泛化至关重要。

总的来说，这段文字强调了ViT在少样本学习任务上的潜力，并提出了对这些属性进行深入研究的重要性。通过进一步的研究，可以更好地理解ViT在处理少量数据时的行为，并可能开发出更有效的模型和算法来处理实际应用中的低数据问题。

4.4 SCALING STUDY扩展性研究

翻译： 我们通过对从JFT-300M迁移性能的评估，对不同模型进行了控制扩展性研究。在这种设置中，数据大小并不是模型性能的瓶颈，我们评估了每个模型的性能与预训练成本。模型集合包括：7个ResNets，R50x1、R50x2、R101x1、R152x1、R152x2，预训练了7个周期，加上R152x2和R200x3预训练了14个周期；6个Vision Transformers，ViT-B/32、B/16、L/32、L/16，预训练了7个周期，加上L/16和H/14预训练了14个周期；以及5个混合模型，R50+ViT-B/32、B/16、L/32、L/16预训练了7个周期，加上R50+ViT-L/16预训练了14个周期（对于混合模型，模型名称末尾的数字并不代表块大小，而是代表在ResNet主干中的总下采样比率）。

讲解： 这段文字描述了一项对不同深度学习模型进行的扩展性研究，旨在评估这些模型在大规模数据集JFT-300M上的迁移学习能力，并比较它们的预训练成本与性能。

1. 控制扩展性研究（Controlled Scaling Study）：

   • 这项研究控制了模型的规模和预训练时间，以便公平地比较不同模型的性能。

2. 迁移性能（Transfer Performance）：

   • 迁移性能是指模型在一个任务上预训练后，将其应用到另一个不同任务上的能力。

3. 预训练成本（Pre-training Cost）：

   • 预训练成本通常指的是训练模型所需的计算资源，包括时间、电力和硬件使用等。

4. 模型集合（Model Set）：

   • 研究包括了多种类型的模型，如不同规模的ResNet和Vision Transformer，以及混合模型。

5. ResNets：

   • ResNets是一类深度残差网络，通过引入跳跃连接来解决深度网络中的梯度消失问题。

6. Vision Transformers（ViTs）：

   • Vision Transformers是一种基于Transformer架构的视觉模型，它们在图像识别任务上表现出色。

7. 混合模型（Hybrids）：

   • 混合模型结合了CNN和Transformer的特点，旨在结合两者的优势。

8. 下采样比率（Downsampling Ratio）：

   • 在混合模型中，下采样比率指的是在ResNet主干网络中对输入图像进行降采样的程度。

9. 预训练周期（Pre-training Epochs）：

   • 预训练周期是指模型在预训练数据集上训练的迭代次数。

总的来说，这段文字强调了在大规模数据集上评估模型性能的重要性，并指出了在不同模型之间进行公平比较时控制变量的必要性。通过这种扩展性研究，可以更好地理解不同模型架构在实际应用中的潜力和成本效益。

翻译： 图5包含了迁移性能与总预训练计算量的对比（有关计算成本的详细信息，见附录D.5）。每个模型的详细结果提供在附录中的表6。可以观察到几个模式。首先，Vision Transformers在性能/计算权衡上优于ResNets。ViT使用大约2-4倍更少的计算量就能达到相同的性能（在5个数据集上的平均值）。其次，混合模型在较小的计算预算下略微优于ViT，但随着模型变大，这种差异消失了。这个结果有点令人惊讶，因为人们可能会期望卷积局部特征处理在任何规模上都能协助ViT。第三，Vision Transformers在尝试的范围内似乎没有饱和，这激励了未来的扩展努力。

讲解： 这段文字分析了不同模型在迁移学习和预训练计算成本方面的性能，并提出了一些观察到的模式。

1. 性能/计算权衡（Performance/Compute Trade-off）：

   • 这是指在模型性能和所需的计算资源之间找到最佳平衡。Vision Transformers在这一权衡上表现优于ResNets，意味着它们在较少的计算资源下能达到与ResNets相同的性能。

2. 计算量（Compute）：

   • 计算量通常指的是训练模型所需的计算资源，包括处理器时间、内存使用等。

3. 混合模型（Hybrids）：

   • 混合模型结合了CNN和Transformer的特点。在计算预算较小的情况下，它们的表现略优于ViT，但随着模型规模的增大，这种优势逐渐消失。

4. 卷积局部特征处理（Convolutional Local Feature Processing）：

   • 这是指CNN在处理图像时能够捕捉局部特征和空间层次结构的能力。通常认为这种能力对于图像识别任务是有益的。

5. 未饱和（Do Not Saturate）：

   • 未饱和意味着Vision Transformers在增加计算资源时，其性能提升没有达到上限，还有进一步提升的空间。

6. 未来扩展努力（Future Scaling Efforts）：

   • 这表明未来的研究可以探索更大的模型规模和更多的计算资源，以进一步提高Vision Transformers的性能。

总的来说，这段文字强调了在迁移学习任务中，Vision Transformers相对于ResNets在计算效率上的优势，以及混合模型在不同计算预算下的表现。此外，它还指出了对Vision Transformers进行进一步扩展的潜力，以期在未来实现更高的性能。

4.5 INSPECTING VISION TRANSFORMER

翻译： 为了开始理解Vision Transformer如何处理图像数据，我们分析了其内部表征。Vision Transformer的第一层将展平的图像块线性投影到低维空间（公式1）。图7（左）显示了学习到的嵌入滤波器的主要成分。这些成分类似于每个图像块内部细微结构的低维表示的合理基函数。

讲解： 这段文字描述了Vision Transformer（ViT）如何处理图像数据，并对其内部表征进行了分析。

1. 内部表征（Internal Representations）：

   • 内部表征是指模型在处理数据时所学习到的特征和信息的内部表达形式。在ViT中，这些表征是通过模型的不同层来构建的。

2. 第一层（First Layer）：

   • Vision Transformer的第一层负责将图像块（patches）从原始的高维空间映射到一个更低维度的空间。这种映射通常通过一个线性变换实现，如全连接层或线性层。

3. 线性投影（Linear Projection）：

   • 线性投影是一种将数据从高维空间映射到低维空间的方法，它保持了数据点之间的相对距离。在ViT中，这有助于减少参数数量并提高计算效率。

4. 主要成分（Top Principal Components）：

   • 主成分分析（PCA）是一种统计技术，用于确定数据中最重要的方向。在这里，它用于分析ViT学习到的嵌入滤波器的主要特征。

5. 嵌入滤波器（Embedding Filters）：

   • 嵌入滤波器是指在ViT中用于将图像块映射到低维空间的权重矩阵。这些滤波器学习到的特征可以捕捉图像块中的关键信息。

6. 基函数（Basis Functions）：

   • 在数学和信号处理中，基函数是构成其他函数的一组函数。在这里，它们指的是构成每个图像块内部细微结构低维表示的基础元素。

7. 细微结构（Fine Structure）：

   • 细微结构指的是图像块内部的细节和纹理信息。ViT通过学习这些结构的低维表示，能够捕捉图像的关键特征。

总的来说，这段文字强调了Vision Transformer在处理图像数据时，如何通过其第一层将图像块映射到低维空间，并学习到能够捕捉图像块内部细微结构的基函数。这种分析有助于我们理解ViT的工作原理，以及它是如何从图像数据中提取有用信息的。

翻译： 在投影之后，会向图像块表征中添加学习到的位置嵌入。图7（中间）显示，模型学会了在位置嵌入的相似性中编码图像内的距离，即更接近的图像块倾向于具有更相似的位置嵌入。此外，还出现了行-列结构；同一行/列的图像块具有相似的嵌入。最后，对于较大的网格，有时可以明显看到一种正弦波结构（见附录D）。位置嵌入学会表示二维图像拓扑结构，这解释了为什么手工设计的二维感知嵌入变体没有带来改进（见附录D.4）。

讲解： 这段文字描述了Vision Transformer（ViT）如何处理图像块的位置信息，并通过位置嵌入来编码空间关系。

1. 位置嵌入（Position Embedding）：

   • 在ViT中，位置嵌入是向模型提供关于图像块在原始图像中位置信息的一种机制。这些嵌入通常是可学习的，意味着它们在训练过程中会根据模型的学习目标进行调整。

2. 编码距离（Encode Distance）：

   • 模型通过学习使位置嵌入之间的相似性与图像块之间的距离相关联。这意味着在空间上彼此接近的图像块会有相似的位置嵌入。

3. 行-列结构（Row-Column Structure）：

   • 模型还学习到在同一行或同一列中的图像块应该有相似的位置嵌入，这反映了图像的二维结构。

4. 正弦波结构（Sinusoidal Structure）：

   • 在较大的图像网格中，位置嵌入有时会呈现出正弦波模式，这可能是为了更好地编码图像块的相对位置信息。

5. 二维图像拓扑（2D Image Topology）：

   • 位置嵌入学习到的二维图像拓扑结构意味着它们能够捕捉图像的二维空间关系，这对于图像识别任务是有益的。

6. 手工设计的嵌入变体（Hand-crafted 2D-aware Embedding Variants）：

   • 文本指出，尽管位置嵌入能够自动学习到有效的二维空间表示，但手工设计的、专门针对二维结构的嵌入变体并没有带来额外的性能提升。

7. 附录D.4：

   • 附录D.4可能包含了关于位置嵌入和二维感知嵌入变体的更详细的实验结果和分析。

总的来说，这段文字强调了Vision Transformer通过位置嵌入有效地编码了图像的二维空间信息，并且这种自动学习到的空间表示对于模型的性能是有效的，甚至可能优于手工设计的嵌入方法。

翻译： 自注意力机制允许Vision Transformer（ViT）即使在最低层也能整合整个图像的信息。我们研究了网络在多大程度上利用这一能力。具体来说，我们根据注意力权重计算了图像空间中信息整合的平均距离（见图7，右）。这种“注意力距离”类似于CNN中的接受域大小。我们发现，一些注意力头在最低层就已经关注了大部分图像，表明模型确实使用了全局信息整合的能力。其他注意力头在低层则始终保持较小的注意力距离。这种高度局部化的注意力在应用ResNet后再接Transformer的混合模型中不太明显（见图7，右），这表明它可能在CNN中类似于早期卷积层的功能。此外，随着网络深度的增加，注意力距离也会增加。总体而言，我们发现模型会关注对分类语义相关性的图像区域（见图6）。

讲解： 这段文字探讨了Vision Transformer（ViT）如何利用自注意力机制来整合图像信息，并分析了模型在不同层次上的信息整合能力。

1. 自注意力机制（Self-attention Mechanism）：

   • 自注意力机制使得ViT能够在模型的任何层次上整合来自整个图像的信息。

2. 信息整合能力（Information Integration Capability）：

   • 研究者通过计算基于注意力权重的图像空间中信息整合的平均距离来评估模型整合信息的能力。

3. 注意力距离（Attention Distance）：

   • 注意力距离是指模型在整合信息时考虑的图像区域的范围，这与CNN中的接受域大小相似。

4. 最低层的全局信息整合（Global Information Integration in the Lowest Layers）：

   • 研究发现，即使在最低层，一些注意力头已经开始关注大部分图像，这表明ViT确实利用了全局信息整合的能力。

5. 局部化注意力（Localized Attention）：

   • 另一些注意力头在低层保持较小的注意力距离，这表明它们更关注局部信息。

6. 混合模型（Hybrid Models）：

   • 在混合模型中，先使用ResNet处理图像，然后再使用Transformer，这种结构减少了高度局部化的注意力，可能起到了类似于CNN早期卷积层的作用。

7. 网络深度与注意力距离（Network Depth and Attention Distance）：

   • 随着网络深度的增加，注意力距离也会增加，这意味着在更高层次上，模型能够整合更远距离的信息。

8. 语义相关性（Semantic Relevance）：

   • 模型倾向于关注对分类任务语义相关性的图像区域，这有助于提高分类的准确性。

总的来说，这段文字强调了ViT通过自注意力机制在不同网络层次上整合信息的能力，并指出模型如何根据任务需求调整其注意力范围。这些发现有助于我们理解ViT如何处理图像数据，并为改进模型提供了见解。

4.6 SELF-SUPERVISION

翻译： Transformer在自然语言处理（NLP）任务上展现出了令人印象深刻的性能。然而，它们的成功不仅仅源于其出色的可扩展性，还源于大规模的自监督预训练（Devlin et al., 2019; Radford et al., 2018）。我们也对自监督的掩码图像预测进行了初步探索，模仿BERT中使用的掩码语言建模任务。通过自监督预训练，我们较小的ViT-B/16模型在ImageNet上达到了79.9%的准确率，比从头开始训练显著提高了2%，但仍然比有监督预训练低4%。附录B.1.2包含了更多细节。我们将对比自监督预训练（Chen et al., 2020b; He et al., 2020; Bachman et al., 2019; H ́enaff et al., 2020）的探索留给未来的工作。

讲解： 这段文字讨论了Transformer模型在自然语言处理（NLP）任务上的应用，并提出了在计算机视觉领域进行自监督预训练的可能性。

1. Transformer在NLP任务上的性能：

   • Transformer模型因其在NLP任务上的卓越表现而受到关注，这些任务包括语言翻译、文本摘要等。

2. 自监督预训练：

   • 自监督预训练是指在没有人工标注数据的情况下，通过预测数据中某些部分来训练模型的方法。BERT就是一个例子，它通过预测文本中掩码（mask）单词的方式来进行预训练。

3. 掩码图像预测（Masked Patch Prediction）：

   • 这是一种自监督学习任务，类似于BERT中的掩码语言建模，但应用于图像。在这种方法中，模型需要预测图像中被掩码（遮盖）的部分。

4. ViT-B/16模型：

   • 这是Vision Transformer的一个变体，其中"B"可能表示基础（Base）版本，"16"表示输入图像块的大小。

5. ImageNet准确率：

   • ImageNet是一个大型图像识别数据集，常用于评估图像识别模型的性能。79.9%的准确率表明模型在该数据集上的表现。

6. 有监督预训练与自监督预训练的比较：

   • 文本提到，自监督预训练的ViT-B/16模型比从头开始训练的模型表现更好，但仍然低于有监督预训练的模型。

7. 对比自监督预训练（Contrastive Pre-training）：

   • 对比自监督预训练是另一种自监督学习方法，它通过比较图像的不同视图来学习图像表示。

8. 未来的工作：

   • 作者提出，对比自监督预训练是一个值得在未来研究的领域，这可能有助于进一步提升模型的性能。

总的来说，这段文字强调了自监督预训练在提升模型性能方面的潜力，并指出了在计算机视觉领域探索这一方法的重要性。通过自监督预训练，模型可以在没有大量标注数据的情况下学习到有用的特征表示，这对于数据稀缺的任务尤其有价值。

翻译： 图7：左侧：ViT-L/32的初始线性嵌入的RGB值的滤波器。中间：ViT-L/32的位置嵌入的相似性。图块显示了指示行和列的图像块的位置嵌入与所有其他图像块的位置嵌入之间的余弦相似度。右侧：头部和网络深度关注的区域大小。每个点显示了16个头在一层中跨图像的平均注意力距离。有关详细信息，请参阅附录D.7。

讲解： 这段文字描述了图7中的三个部分，它们展示了Vision Transformer（ViT）模型中不同方面的可视化结果。

1. 初始线性嵌入的滤波器（Filters of the Initial Linear Embedding）：

   • 这部分展示了ViT模型中将RGB值线性映射到嵌入空间的初始滤波器。这些滤波器可以捕捉图像块的基本特征。

2. 位置嵌入的相似性（Similarity of Position Embeddings）：

   • 这部分通过图块（tiles）展示了模型中位置嵌入之间的余弦相似度。余弦相似度是一种度量两个向量方向差异的方法，这里用来表示不同图像块在位置上的相似性。

3. 关注的区域大小（Size of Attended Area）：

   • 这部分展示了模型中不同头部（heads）和不同网络深度（layers）关注区域的大小。注意力距离是指模型在整合信息时考虑的图像区域的范围，类似于CNN中的接受域大小。

4. 头部和网络深度（Head and Network Depth）：

   • 每个点代表16个头部中的一个在特定层上跨图像的平均注意力距离。这表明了模型在不同层次上如何关注不同大小的图像区域。

5. 附录D.7（Appendix D.7）：

   • 附录D.7可能包含了关于这些可视化结果的更多技术细节，包括如何计算位置嵌入的相似性和注意力距离。

总的来说，这段文字强调了ViT模型在处理图像数据时如何通过自注意力机制整合来自整个图像的信息，并且展示了模型如何在不同层次上关注不同大小的图像区域。这些可视化结果有助于我们理解ViT模型的内部工作机制。

5 CONCLUSION

翻译： 我们探索了将Transformer直接应用于图像识别。与以往在计算机视觉中使用自注意力的工作不同，我们除了最初的图像块提取步骤外，没有在架构中引入特定于图像的归纳偏好。相反，我们将图像解释为一系列图像块，并使用在NLP中使用的标凈Transformer编码器对其进行处理。这种简单但可扩展的策略在与大规模数据集的预训练相结合时表现出奇地好。因此，Vision Transformer在许多图像分类数据集上匹配或超过了最先进技术，同时预训练成本相对较低。

讲解： 这段文字总结了Vision Transformer（ViT）在图像识别任务中的应用，并强调了其与以往方法的不同之处。

1. 直接应用Transformer：

   • 作者探讨了将Transformer模型直接应用于图像识别任务，而不是像以往的方法那样对模型进行特定于图像的修改。

2. 无图像特定归纳偏好：

   • 除了在模型的初始阶段将图像分割成小块（patches）之外，ViT没有在架构中引入其他特定于图像的归纳偏好。

3. 图像作为序列处理：

   • ViT将图像视为一系列图像块的序列，并使用标准的Transformer编码器对其进行处理，这种方法与自然语言处理（NLP）中使用的方法类似。

4. 简单且可扩展的策略：

   • 这种处理图像的策略简单而可扩展，意味着它可以很容易地应用于不同规模和复杂性的图像识别任务。

5. 预训练与性能：

   • 当ViT与大规模数据集的预训练相结合时，它表现出色，能够在许多图像分类数据集上达到或超过当时的最先进技术。

6. 预训练成本：

   • 尽管ViT的性能出色，但其预训练成本相对较低，这使得它成为一个经济高效的选择。

总的来说，这段文字强调了ViT在图像识别领域的潜力，以及其作为一种通用模型架构在处理图像数据时的有效性。ViT的成功表明，即使是在没有针对特定领域进行优化的情况下，Transformer模型也能够在图像任务上取得优异的性能。

 

翻译： 虽然这些初步结果令人鼓舞，但仍然存在许多挑战。其中一个挑战是将ViT应用于其他计算机视觉任务，例如检测和分割。我们的结果，加上Carion等人（2020年）的结果，表明这种方法是有希望的。另一个挑战是继续探索自监督预训练方法。我们的初步实验显示自监督预训练有所改进，但自监督和大规模有监督预训练之间仍然存在很大差距。最后，进一步扩展ViT可能会带来性能的提升。

讲解： 这段文字讨论了Vision Transformer（ViT）在计算机视觉领域的应用前景和面临的挑战。

1. 应用于其他计算机视觉任务：

   • 除了图像分类，ViT还有潜力被应用于其他计算机视觉任务，如目标检测和图像分割。这些任务通常需要模型理解图像中的目标位置和形状。

2. Carion等人（2020年）的研究：

   • 文中提到了Carion等人的研究，这可能是指在ViT或其他Transformer架构上进行的相关工作，这些工作表明了ViT在计算机视觉任务上的潜力。

3. 自监督预训练方法：

   • 自监督预训练是一种无需人工标注数据的训练方法，它通过模型自身生成的训练信号来学习。这种方法在自然语言处理中已经取得了成功，而在计算机视觉中仍然是一个研究热点。

4. 自监督与有监督预训练的差距：

   • 尽管自监督预训练在ViT上取得了一定的进展，但与大规模有监督预训练相比，性能仍有提升空间。有监督预训练通常使用大量人工标注的数据，这在某些情况下可能会提供更准确的模型训练。

5. 进一步扩展ViT：

   • 扩展ViT可能指的是增加模型的规模、改进模型架构或使用更多的数据进行训练。这些扩展可能会进一步提高ViT在各种计算机视觉任务上的性能。

总的来说，这段文字强调了ViT在计算机视觉领域的应用前景，并指出了在实现这些应用时需要克服的一些挑战。这包括将ViT应用于更复杂的视觉任务、改进自监督预训练方法，以及通过扩展模型来提高性能。这些挑战的克服将有助于ViT在计算机视觉领域得到更广泛的应用。

翻译： 表3：训练的超参数。所有模型都使用4096的批量大小和10000步的学习率预热进行训练。对于ImageNet，我们发现额外应用全局范数为1的梯度裁剪是有益的。训练分辨率为224。

讲解： 这段文字描述了训练Vision Transformer（ViT）模型时使用的超参数设置。

1. 批量大小（Batch Size）：

   • 批量大小是指每次模型训练迭代中同时处理的样本数量。这里，所有模型都使用4096的批量大小，这是一个相对较大的数量，有助于提高训练效率。

2. 学习率预热（Learning Rate Warmup）：

   • 学习率预热是一种逐渐增加学习率的策略，通常在训练的初始阶段使用，以帮助模型稳定地开始训练。这里，学习率预热进行了10000步。

3. 梯度裁剪（Gradient Clipping）：

   • 梯度裁剪是一种防止梯度爆炸的技术，通过将梯度限制在一个特定的范围内来实现。在这里，全局范数被设置为1，这意味着所有梯度的总范数不会超过1。

4. 训练分辨率（Training Resolution）：

   • 训练分辨率是指输入图像在训练过程中使用的大小。这里，训练分辨率被设置为224x224像素，这是ImageNet数据集中常用的图像尺寸。

5. ImageNet：

   • ImageNet是一个大型的图像识别数据集，广泛用于评估计算机视觉模型的性能。

总的来说，这段文字强调了在训练ViT模型时，适当的超参数设置对于模型性能的重要性。这些超参数包括批量大小、学习率预热、梯度裁剪和训练分辨率，它们共同影响着模型的训练效果和稳定性。通过这些设置，研究者可以优化模型的训练过程，提高模型在图像分类任务上的性能。

APPENDIX