DeiT在VIT上做了什么改进

注：仅供学习记录

DeiT（Data-efficient Image Transformers）是建立在ViT（Vision Transformers）基础上的改进方法，旨在提高对图像数据的利用效率。

以下是DeiT在ViT上进行的一些主要改进：

1. Distillation（蒸馏）：DeiT使用了知识蒸馏的技术，从一个更大、更强的模型（例如Convolutional Neural Networks）中蒸馏出知识，并将其注入到小型的ViT模型中。这种蒸馏过程有助于提高小型模型的性能，使其能够接近或超越大型模型的表现。

2. Tokenization（标记化）：DeiT对输入图像进行了改变，将图像分成更小的图块（tokens），这类似于NLP中的标记化过程。通过这种方式，DeiT使得模型可以更好地处理图像中的局部信息，并且对输入图像的尺度更加灵活。

3. Regularization（正则化）：为了防止过拟合和提高泛化性能，DeiT引入了一些正则化技术，如Dropout和Stochastic Depth。这些技术有助于减少模型中的冗余参数和防止模型在训练过程中过度依赖特定的隐藏单元。

4. Data Augmentation（数据增强）：为了增加数据的多样性和模型的鲁棒性，DeiT使用了多种数据增强技术，例如随机裁剪、水平翻转和颜色抖动等。这有助于提高模型对输入图像的泛化能力。

通过这些改进，DeiT成功地将Transformer模型应用于图像领域，并取得了在图像分类和其他计算机视觉任务上与传统卷积神经网络相媲美甚至超越的性能。