VIT 程序

赫瑟尔

已于 2022-04-04 13:09:00 修改

阅读量113

点赞数

分类专栏：深度学习文章标签：深度学习

于 2022-04-03 21:39:09 首次发布

本文链接：https://blog.csdn.net/qq_42075634/article/details/123945162

版权

本文深入探讨了Vision Transformer (VIT)的工作原理，这是一种使用Transformer架构进行图像识别的创新方法。VIT通过将图像划分为小块并处理这些块的序列，展示了在计算机视觉任务上的强大性能，为深度学习领域带来了新的视角。

摘要由CSDN通过智能技术生成

VIT

宝藏博文

import torch
from torch import nn, einsum
import torch.nn.functional as F

from einops import rearrange, repeat
from einops.layers.torch import Rearrange
def pair(t):
    return t if isinstance(t, tuple) else (t, t)


class PreNorm(nn.Module):
    def __init__(self, dim, fn):
        super().__init__()
        self.norm = nn.LayerNorm(dim)
        self.fn = fn
    def forward(self, x, **kwargs):
        return self.fn(self.norm(x), **kwargs)


class FeedForward(nn.Module):
    def __init__(self, dim, hidden_dim, dropout=0.):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(dim, hidden_dim),
            nn.GELU(),
            nn.Dropout(dropout),
            nn.Linear(hidden_dim, dim),
            nn.Dropout(dropout)
        )
    def forward(self, x):
        return self.net(x)


c