timm的vit (vision transformer), swin Transformer源码仓库-无优化版

已于 2024-11-03 01:44:48 修改
阅读量505 收藏 4
点赞数 9
分类专栏： 学习记录 文章标签： transformer 深度学习 人工智能
于 2024-11-03 01:29:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vivi_cin/article/details/143459424
版权

目录

1.  VIT

1.1 pytorch自带版

1.2 基于timm实现

2. Swin transformer

1.  VIT

1.1 pytorch自带版

https://github.com/lucidrains/vit-pytorch

1.2 基于timm实现

放一个github上的无优化版仓库，可以基于这个来魔改代码：

https://github.com/UCSC-VLAA/FedConv/blob/10abdb11123420915c97f1e7d37b08eba71f0eb1/models/vision_transformers.py#L21

(上面那个可能更加官方)

mm-cot/timm/models/vision_transformer.py at 8dd4ac02b94f21347973491f6e6b828502d23f9d · amazon-science/mm-cot · GitHub

2. Swin transformer

swin transformer的官方代码：

Swin-Transformer/main.py at main · microsoft/Swin-Transformer · GitHub

swin transformer的讲解可以看这里：

notes/swin_transformer.md at 7f7913d50524c0bf7f4c37c379a444384360bbb3 · NairongZheng/notes · GitHub

RT-DETR改进策略：BackBone改进|Swin Transformer，最强主干改进RT-DETR
m0_47867638的博客
09-16 2182
计算机视觉建模长期以来一直由卷积神经网络 (CNN) 主导。从 AlexNet [38] 及其在 ImageNet 图像分类挑战中的革命性表现开始，CNN 架构通过更大的规模 [29, 73]、更广泛的连接 [33] 和更复杂的卷积形式 [67, 17, 81]。随着 CNN 作为各种视觉任务的骨干网络，这些架构的进步导致了性能改进，从而广泛提升了整个领域。另一方面，自然语言处理 (NLP) 中网络架构的演变采取了不同的路径，如今流行的架构是 Transformer [61]。
Swin-Transformer模型和参数
qq_43275608的博客
10-28 1226
Swin Transformer（Swin 的意思是 Shifted window）最初在 arxiv 中描述，能够作为计算机视觉的通用骨干。它基本上是一个分层 Transformer，其表示通过位移窗口计算。位移窗口方案通过将自注意力计算限制在不重叠的局部窗口中，同时允许跨窗口连接，从而提高了效率。
【超详细】初学者包会的Vision Transformer（ViT）的PyTorch实现代码学习
热门推荐
CHENCHENCHEN0526的博客
11-14 2万+
本文参考了b站up霹雳吧啦Wz的视频稿件，图片均为该视频截图。 代码来源timm库（PyTorchImageModels，简称timm）是一个巨大的PyTorch代码集合，已经被官方使用了。 放一些链接：作者的GitHub主页，timm库链接，作者写的官方指南，以及一个非官方的推荐文章。 模型示意图（Base16为例） PatchEmbed模块 class PatchEmbed(nn.Module): """ 2D Image to Patch Embedding """ def
如何训练一个ViT模型-基于timm（2）
weixin_48076759的博客
05-23 1888
模型导入预训练ViT，改变最后一层分类层，使之符合cifar10的10个类别model.to(device) #可不可以用gpu，不行的话就与、用cpu优化器传入ViT head的参数，只训练后面的分类层。
Transformer 优秀开源工作：timm 库 vision transformer 代码解读
m0_46378271的博客
05-04 8384
timm库（PyTorchImageModels，简称timm）是一个巨大的PyTorch代码集合，已经被官方使用了。
Swin Transformer实战：timm中的 Swin Transformer实现图像分类（多GPU）。
02-22
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用timm版本的Swin Transformer图像分类模型实现分类任务已经对验证集得分的统计，本文实现了多个GPU并行训练。 通过本文你和学到： 1、如何从timm调用模型、loss和Mixup？ 2、如何制作ImageNet数据集？ 3、如何使用Cutout数据增强？ 4、如何使用Mixup数据增强。 5、如何实现多个GPU训练和验证。 6、如何使用余弦退火调整学习率？ 7、如何使用classification_report实现对模型的评价。 8、预测的两种写法。
timm使用swin-transformer
算法探索之路
02-22 7603
swin-transformer
Swin Transformer实战： timm使用、Mixup、Cutout和评分一网打尽，图像分类任务
AI浩
02-25 7052
文章目录摘要Swin Transformer简介资料汇总数据增强Cutout和Mixup项目结构计算mean和std生成数据集训练导入项目使用的库设置全局参数图像预处理与增强读取数据设置模型定义训练和验证函数测试 摘要 本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用timm版本的Swin Transformer图像分类模型实现分类任务已经对验证集得分的统计，本文实现了多个GPU并行训练。 通过本文你和学到： 1、如何从timm调用模型、loss和Mixup？ 2、如何制作I
swin transformer 源码解读（timm版）
乐趣是人为构建的，构建是一种莫大的乐趣。
04-06 3474
代码整体脉络： 1.window_partition(将B, H, W, C 张量变换形状为num_windowsB, window_size, window_size, C张量) 2.window_reverse 自然是windows_partition的反过程 3.WindowAttention 接受window_partition的view以后的结果:num_winB, window_size*window_size, C.实质是对每一个窗口做窗口内部的自注意力。下图代码是block的前向的部分截图，
【Timm】搭建Vision Transformer系列实践，终于见面了，Timm库！
MengYa_Dream的博客
07-22 4710
搭建Vision Transformer系列实践，终于见面了，Timm库！手把手搭建transformer框架理念和实践的资源！工具了解很重要！根本就不是完全自己搭建哇！有现成的工具！
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows
iwill323的博客
12-22 3899
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows patch partition Linear Embedding swin transformer block
ViT
03-18
变形的ViT 将可变形的多头注意力应用于ViT架构 待办事项清单： 完成日志记录代码和wandb日志记录 实施timm版本（用于224x224 16补丁尺寸图像的执行器和变压器） 代码和测试变形注意 变压器 演员 编码和测试本地感知的初始化 变压器 演员 编码和测试DeBERTa注意 变压器 演员 用法 结果 用法 链接 （可变形的多尺度注意） cp pc注意） （可识别位置的初始化） （执行器tensorflow实现） 库） 日志记录）
Swin-Transformer
08-20
虽然Vision Transformer (ViT)在图像分类方面的结果令人鼓舞，但是由于其低分辨率特性映射和复杂度随图像大小的二次增长，其结构不适合作为密集视觉任务或高分辨率输入图像的通过骨干网路。为了最佳的精度和速度的...
【Timm】create_model所提供的ViT模型概览
MengYa_Dream的博客
09-20 7722
【Timm】create_model所提供的ViT模型概览，⚪结合vision transformer理解
解决Vision Transformer在任意尺寸图像上微调的问题：使用timm库
weixin_42364196的博客
11-22 5799
介绍分析ViT在任意尺寸图像上微调的问题及如何通过timm库来解决
Vision Transformer 代码实现
周红伟讲AI
03-09 1387
最近开始恶补CV了（指->新建文件夹）。作为CV Transformer的开山大作，首先要学习的就是ViT（Vision Transformer）模型。有很多大佬都已经解读过这篇工作了，我比较推荐的视频，不仅能了解模型架构，还能学到些论文写作技巧。也参考了（代码是基于timm的） 本文代码基于，该项目包含了ViT和诸多变体。需要预训练模型的话可以参考ViT的架构ViT的结构如上图，我们按照流程一步步讲解。大概来说，ViT分为这几个步骤。1。
Swin Transformer实战： timm使用、Mixup，附大厂真题面经
03-23 569
ACC = 0。
vision transformer 分割
最新发布
01-12
from timm.models.vision_transformer import vit_base_patch16_224 as create_model transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), ]) dataset = datasets....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值