VIT：视觉transformer|学习微调记录

一、了解VIT结构

vit提出了对于图片完全采用transformer结构而不是CNN的方法，通过将图片分为patch，再将patch展开输入编码器（grid_size网格大小），最后用MLP将输出转化为对应类预测。

详细信息可以看下面这个分享：

Vision Transformer (ViT) + 代码【详解】_vit代码-CSDN博客文章浏览阅读2.7k次，点赞18次，收藏53次。虽然 Transformer 架构已成为自然语言处理任务的事实标准，但它在计算机视觉领域的应用仍然有限。在 Vision 中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。我们表明，这种对 CNN 的依赖是不必要的，直接应用于图像块序列的纯 Transformer 可以在图