《博主简介》
小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~
👍感谢小伙伴们点赞、关注！
《------往期经典推荐------》
二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~
《------正文------》
摘要
Vision Transformer（ViT）通过将最初为NLP中的顺序数据设计的Transformer架构应用于图像数据，代表了图像处理的范式转变。它通过将图像划分为固定大小的块，将它们扁平化为向量，并将它们视为类似于句子中的单词的token。然后，这些token由多个Transformer编码器层处理，其中包括用于捕获补丁之间关系的多头自注意机制，用于增强学习的前馈神经网络，以及用于稳定训练的残差连接的归一化。一个特殊的类标记用于分类，它通过一个完全连接的层进行处理以输出预测。ViT的优势包括全局上下文理解，处理不同输入大小和任务的灵活性，以及大型数据集的可扩展性。 然而，它也有局限性，如高数据要求的最佳性能和计算成本，由于自注意机制的二次复杂度。
Vision Transformer（ViT）
Vision Transformer（ViT）是一种专为图像处理任务设计的模型架构，利用了最初为自然语言处理开发的Transformer模型的概念。以下是其结构和功能的详细分解：
关键概念
Transformer：
- Transformer是一种神经网络架构，它利用自注意机制来捕获序列中元素之间的关系，使其对于涉及上下文理解的任务非常有效。
基于补丁的表示：
- 在ViT中，图像被划分为固定大小的块（例如，16x16像素）。每个补丁都被扁平化为一个向量，并被视为一个token，类似于NLP中处理单词的方式。
模型架构
输入准备：
- 输入图像被分割成不重叠的块。然后将每个面片展平并线性嵌入到向量空间中。添加位置嵌入以保留空间信息。
Transformer编码器：
- 该模型由多个Transformer编码器层组成，每个编码器层包含：
- 多头自注意力：该机制计算所有补丁对之间的注意力分数，允许模型学习关系，而不管图像中的距离如何。
- 前馈神经网络：每个注意力输出都通过前馈网络（具有激活功能）来增强学习能力。
- 层归一化和残差连接：这些用于稳定训练和提高收敛性。
分类头：
- 在通过编码器层之后，一个特殊的token（通常称为类token）用于最终分类。对应于该token的输出被馈送到分类器（通常是全连接层）以产生最终预测。
优势
全球背景理解：
- 自注意机制允许模型捕获图像中的长距离依赖关系，这对于理解复杂的视觉模式是有利的。
灵活性：
- Vision Transformers可以处理不同的输入大小，并通过微调或迁移学习来适应不同的视觉任务。
可扩展性：
- ViT可以通过调整层的数量、隐藏维度和注意力头的数量来缩放，使其适合大型数据集和复杂任务。
限制
数据要求：
- 与传统的CNN相比，Vision Transformers通常需要大量的训练数据才能表现良好，而传统的CNN可以更好地推广较小的数据集。
计算成本：
- 当处理非常高分辨率的图像时，自我注意的二次复杂性（相对于补丁的数量）可能是一个限制，尽管这在后续的Transformer模型（如Swin Transformer）中得到了缓解。
代码示例
# Define transformations
transform = transforms.Compose([
transforms.Resize((224, 224)), # Resize to 224x224 for ViT
transforms.ToTensor(), # Convert to tensor
transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), # Normalize
])
# Load the dataset
train_dataset = CIFAR10(root='./data', train=True, download=True, transform=transform)
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)
#Load a pre-trained Vision Transformer model.
model = ViTForImageClassification.from_pretrained("google/vit-base-patch16-224-in21k", num_labels=10) # CIFAR-10 has 10 classes
model.train() # Set the model to training mode
criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5)
for epoch in range(5): # Number of epochs
for images, labels in train_loader:
optimizer.zero_grad() # Clear gradients
outputs = model(images).logits # Forward pass
loss = criterion(outputs, labels) # Compute loss
loss.backward() # Backward pass
optimizer.step() # Update weights
print(f"Epoch [{epoch+1}/5], Loss: {loss.item():.4f}")
model.eval() # Set to evaluation mode
# Example image
example_image = train_dataset[0][0].unsqueeze(0) # Get an image and add batch dimension
with torch.no_grad(): # Disable gradient calculation
logits = model(example_image).logits
predicted_class = torch.argmax(logits, dim=1)
print(f"Predicted class: {predicted_class.item()}")
好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！
扫一扫
348
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
