37、记录使用 Swin Transformer主干网络去实现分类，并转化NCNN、TNN、MNN模型以及部署

已于 2023-01-05 15:37:46 修改
阅读量8.4k 收藏 27
点赞数 3
分类专栏： Python基础知识 文章标签： transformer 分类 mnn
于 2022-01-20 16:13:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxj731533730/article/details/122601993
版权

基本思想:最近手中有个swim transformer模型，想移植手机端进行推理一下，随手记录一下遇到的问题涉及简单的转ncnn tnn mnn的流程性问题

一、首先我fork了大佬的代码https://github.com/sxj731533730/swin_transformer.git，主代码结构是华为分类垃圾的源码,然后作者参考了 swin_transformer 的架构做了修改，修改参考来自Swin-Transformer/swin_transformer.py at 5d2aede42b4b12cb0e7a2448b58820aeda604426 · microsoft/Swin-Transformer · GitHub

本实验的模型

了解本专栏 订阅专栏 解锁全文 超级会员免费看
sxj731533730
关注
  • 3
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 21
    评论
专栏目录
订阅专栏
使用swin_transformer做自己数据集的图像分类
04-30
使用的数据集共有5种类别，使用Swin-T预训练模型进行训练。
Swin Transformer实战：timm中的 Swin Transformer实现图像分类（多GPU）。
02-22
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用timm版本的Swin Transformer图像分类模型实现分类任务已经对验证集得分的统计，本文实现了多个GPU并行训练。 通过本文你和学到： 1、如何从timm调用模型、loss和Mixup？ 2、如何制作ImageNet数据集？ 3、如何使用Cutout数据增强？ 4、如何使用Mixup数据增强。 5、如何实现多个GPU训练和验证。 6、如何使用余弦退火调整学习率？ 7、如何使用classification_report实现对模型的评价。 8、预测的两种写法。
HuggingFace Transformers 模型导出到 ONNX 格式
engchina的专栏
03-17 1278
HuggingFace Transformers 模型导出到 ONNX 格式
人工智能-Transformer-图像分类-基于Swin-transformer训练图像分类并部署web端
最新发布
04-09
具体包含以下几个步骤： 1.加载预训练权重√ 2.图片数据集准备√ 3.训练√ 4.推理测试√ 5.新的数据增强调优 6.部署在web端√ 服务器端部署：运行flask_demo， 客户端测试：运行client.py 也可以使用postman测试服务器端
Swin Transformer v2实战：使用Swin Transformer v2实现图像分类
10-12
Swin Transformer v2解决了大型视觉模型训练和应用中的三个主要问题，包括训练不稳定性、预训练和微调之间的分辨率差距以及对标记数据的渴望。 链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/127168900
pytorch经onnx使用TensorRT部署转换踩坑记录
baidu_33738335的博客
12-17 6969
老版本踩坑 1. Pytorch模型中不能有条件支路 因为Pytorch模型转onnx模型的过程中，需要传给模型一个假的输入，然后做一次前向传播，再根据前向传播的结果来做模型的转换 2. Pytorch中的某些操作在TensorRT中不支持 x = x.view(x.size(0), -1)不支持，换成x = x.flatten(1) torch.unsqueeze(x[:, 0], 1)不支持，需要去掉 动态size是不支持的，比如h = x.size()[2]，改成具体数值 3. Pytorch中的
常量折叠 Constant folding
micx0124的专栏
10-06 2901
常量折叠：在编译时期用常量的具体取值代替所有用到常量的地方。 例如 const int a = 8; cout  经过编译器扫描后，变为： cout  常量一般分为两种：可以常量折叠的常量和不可以常量折叠的常量。下面具个不可以常量折叠的常量的例子： int test(){ return 8; } const int a = test();//常量a不可以常量折叠 cout
yolov8 pose 尝试部署到旭日派x3（1：模型的初步转化工作）
weixin_47491668的博客
12-01 536
通过onnx，将yolo模型转化为bin模型在旭日派上运行
模型推理:Swin-Transformer图像分类
shengyin714959的博客
07-24 179
硬件：寒武纪 MLU370 AI 加速卡框架：Pytorch 1.6 、MagicMind 0.14.0系统环境：寒武纪云平台MagicMind除了提供大量的内置算子（如conv、pool等），还提供自定义算子开发功能，来满足用户的业务需求和性能需求。当MagicMind Parser 解析原生 PyTorch 模型某个算子失败时，可编写自定义PluginOp，替换 PyTorch 原生网络中对应算子，以使模型能被 MagicMind Parser 正常解析。
TNN Model Converter教程
一行一生
04-28 929
1.安装docekr 首先安装依赖 sudo apt-get install apt-transport-https ca-certificates curl gnupg2 software-properties-common 信任 Docker 的 GPG 公钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - 对于 amd64 架构的计算机，添加软件仓库 sudo add-apt-repos.
【目标检测】swin-transformer的模型推理
qq_44747572的博客
10-30 659
【代码】【目标检测】swin-transformer的模型推理。
Swin Transformer 实现图像分类
05-29
Swin Transformer 实现图像分类完整代码，拿走即用，路径都是相对路径不用改，自带预训练权重和数据集，不懂可以交流，随随便便参加比赛项目，毕业设计等。
在NVIDIA Jetson Xavier NX上把yolov4-deepsort的模型pb模型使用tensorflow-onnx和onnx-tensorrt工具最终转换为tensorrt模型
求真、务实
10-28 4967
https://github.com/onnx/onnx-tensorrt/issues/385 git clone -b 6.0 --single-branch https://github.com/onnx/onnx-tensorrt.git cd onnx-tensorrt/ # Should resolve your "does not contain a CMakeLists.txt" error git submodule update --init --recursive # Skip thi
Swin Transformer v2实战：使用Swin Transformer v2实现图像分类（一）
AI浩
10-05 5008
Swin Transformer v2解决了大型视觉模型训练和应用中的三个主要问题，包括训练不稳定性、预训练和微调之间的分辨率差距以及对标记数据的渴望。1）残差后范数方法结合余弦注意提高训练稳定性；一种对数空间连续位置偏差方法，可有效地将使用低分辨率图像预训练的模型转移到具有高分辨率输入的下游任务；一种自我监督的预训练方法 SimMIM，以减少对大量标记图像的需求。我这篇文章主要讲解如何使用Swin Transformer V2完成图像分类任务，接下来我们一起完成项目的实战。
Bag file .bag is unindexed. Run rosbag reindex.报错解决
bulletstart的博客
05-25 807
Bag file .bag is unindexed. Run rosbag reindex.报错解决
深度学习框架大PK：TNN决战MNN，ncnn依旧经典
qq_15821487的博客
03-18 883
参考：https://blog.csdn.net/weixin_42137700/article/details/107137353
Transformer量化部署初步探讨
Artyze的博客
07-23 2698
transformer部署探讨
Swin Transformer为主干，清华等提出MoBY自监督学习方法，代码已开源
我爱计算机视觉
07-08 293
本文转载自机器之心。来自清华大学、西安交大、微软亚研的研究者提出了一种称为 MoBY 的自监督学习方法，其中以 Vision Transformer 作为其主干架构，将 MoCo v2 和...
YOLOv6 ORT/MNN/TNN/NCNN C++推理部署
weixin_41838259的博客
06-27 1838
YOLOv6 ORT/MNN/TNN/NCNN C++推理部署
详细阐述Swin transformer主干特征提取网络
05-03
Swin Transformer是一种新型的Transformer模型结构，特别适用于视觉领域的任务。其主干特征提取网络包括以下几个重要的特点： 1. Hierarchical Feature Extraction：Swin Transformer通过一种层级式的特征提取方式，将图像特征逐层分解，从而得到不同层次的特征表示。这种特征提取方式可以更好地捕捉图像中的不同尺度和细节信息。 2. Shifted Window Approach：为了避免传统的Transformer模型中的全局自注意力机制中的高计算复杂度，Swin Transformer采用了一种移位窗口策略，将全局自注意力机制中的计算复杂度从O(N^2)降低到O(NlogN)的级别，从而大大减少了计算量。 3. Patch Partitioning：Swin Transformer在输入图像前，采用了一种划分图像块的策略，将图像划分成多个小块，然后对每个小块进行独立的特征提取，从而提高了模型的并行性和可扩展性。 4. Layered Architecture：Swin Transformer的网络结构采用了一种层级式的架构，每个层次都包括了多个Transformer块，每个块中又包含了多个注意力头，从而进一步增强了模型的特征提取能力。 综上所述，Swin Transformer主干特征提取网络采用了一系列创新的设计，从而提高了模型的计算效率和特征提取能力，使其在图像识别、目标检测、语义分割等任务中都具有很好的表现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sxj731533730

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值