37、记录使用 Swin Transformer主干网络去实现分类，并转化NCNN、TNN、MNN模型以及部署

已于 2023-01-05 15:37:46 修改
阅读量8.6k 收藏 27
点赞数 3
分类专栏： Python基础知识 文章标签： transformer 分类 mnn
于 2022-01-20 16:13:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxj731533730/article/details/122601993
版权
本文记录了使用Swin Transformer模型进行分类并将其转化为NCNN、TNN、MNN模型的过程。首先介绍了模型测试及Onnx转换，接着详细描述了在NCNN中遇到的转化问题及尝试使用PNNX的解决办法。然后，通过TNN成功转换模型但发现测试结果缺失置信度。最后，成功使用MNN进行转换，并在C++中验证了模型的正确性。
摘要由CSDN通过智能技术生成

基本思想:最近手中有个swim transformer模型，想移植手机端进行推理一下，随手记录一下遇到的问题涉及简单的转ncnn tnn mnn的流程性问题

一、首先我fork了大佬的代码https://github.com/sxj731533730/swin_transformer.git，主代码结构是华为分类垃圾的源码,然后作者参考了 swin_transformer 的架构做了修改，修改参考来自Swin-Transformer/swin_transformer.py at 5d2aede42b4b12cb0e7a2448b58820aeda604426 · microsoft/Swin-Transformer · GitHub

本实验的模型

了解本专栏 订阅专栏 解锁全文 超级会员免费看
sxj731533730
关注
专栏目录
订阅专栏
模型推理:Swin-Transformer图像分类
shengyin714959的博客
07-24 255
硬件：寒武纪 MLU370 AI 加速卡框架：Pytorch 1.6 、MagicMind 0.14.0系统环境：寒武纪云平台MagicMind除了提供大量的内置算子（如conv、pool等），还提供自定义算子开发功能，来满足用户的业务需求和性能需求。当MagicMind Parser 解析原生 PyTorch 模型某个算子失败时，可编写自定义PluginOp，替换 PyTorch 原生网络中对应算子，以使模型能被 MagicMind Parser 正常解析。
Swin Transformer为主干，清华等提出MoBY自监督学习方法，代码已开源
我爱计算机视觉
07-08 319
本文转载自机器之心。来自清华大学、西安交大、微软亚研的研究者提出了一种称为 MoBY 的自监督学习方法，其中以 Vision Transformer 作为其主干架构，将 MoCo v2 和...
Swin Transformer搭建
最新发布
weixin_43904584的博客
06-17 1814
nvcc -V。
Swin Transformer做主干的 Faster RCNN 目标检测网络（mmdetection）
热门推荐
Beyonderwei的博客
04-11 1万+
Swin Transformer做主干的 Faster RCNN 目标检测网络
【CNN记录】transpose函数
夏天Alex
07-08 1564
transpose介绍
swin-transformer在Jeston Nx部署
weixin_39326879的博客
06-27 488
1.arm\x86-64的区别指令集不一样2.arm架构上的conda要安装miniforge3.arm上的ubuntu的软件管理器是pacman,这个安装起来也有点麻烦，因为这个库有一些前置依赖库pkg-config；4.如果dockerfile里面的CMD和entrypoint什么都没写的，直接docker run起来的容器会很快退出，而且没有log,如果要在容器中停留比较久的话需要-it进入交互式界面；6.cmake。
Swin Transformer 实现图像分类
05-29
Swin Transformer 是一种基于Transformer架构的深度学习模型，由Pengchao Zhang等人在2021年提出，主要用于计算机视觉任务，如图像分类、目标检测和语义分割。相较于传统的卷积神经网络（CNN），Swin Transformer ...
Swin Transformer实战：timm中的 Swin Transformer实现图像分类（多GPU）。
02-22
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用timm版本的Swin Transformer图像分类模型实现分类任务已经对验证集得分的统计，本文实现了多个GPU并行训练。 通过本文你和学到： ...
TensorRT-使用tensorrt部署Swin-Transformer-支持fp16+int8精度推理-优质算法部署项目实战
02-28
在本项目实战中，我们将深入探讨如何利用NVIDIA的TensorRT框架来部署Swin-Transformer模型，这是一种先进的计算机视觉算法，特别适用于图像分类、目标检测等任务。TensorRT是一个高性能的深度学习推理（Inference）...
2024年最新Swin Transformer实战：使用 Swin Transformer实现图像分类。
2301_82243883的博客
05-02 1595
CUDA版本：11.22、创建虚拟环境swin。
Transformer量化部署初步探讨
Artyze的博客
07-23 3098
transformer部署探讨
Linux系统搭建Swin-Transformer环境
qq_51979565的博客
07-15 1237
1.mmcv-full安装 同MMdetection环境配置一样，可参考我上一篇文章 2.下载仓库 下载仓库时，将git clone的地址换成Swin-Transformer的仓库地址 git clone https://github.com/SwinTransformer/Swin-Transformer-Object-Detection.git cd Swin-Transformer-Object-Detection 3.重新安装mmcv-full git clone..
mxnet, ncnn问答
northeastsqure的专栏
02-28 214
1.mxnet转到ncnn不需要transpose吗?
论文笔记——TransPose
Sciws的博客
09-20 1604
早期的关键点检测方法通常是直接回归关键点的位置，后来变成了主流的通过预测关键点热图去预测，它隐式地学习身体各部位之间的空间依赖关系。然而，大多数之前的研究都将深度CNN作为一个强大的黑盒预测器，并专注于改善网络结构，模型内部到底发生了什么，或者它们如何捕捉身体部位之间的空间关系，目前还不清楚。然而，从科学和实践的角度来看，模型的可解释性可以帮助从业者理解模型如何将结构变量关联起来以达到最终的预测，以及姿态估计器如何处理各种输入图像。它还可以帮助模型开发人员进行调试、决策和进一步改进设计。
【目标检测】swin-transformer的模型推理
qq_44747572的博客
10-30 950
【代码】【目标检测】swin-transformer的模型推理。
[编译环境]百度深度学习平台PaddlePaddle安装、官方跑通、跑通自己想用的模型（deepLab,swin-transformer哒哒哒）
qq_1593724363的博客
03-11 2187
前言： 新的学期新的方向，新的学期成功转型——由目标检测成功登陆语义分割。最近一直在研究语义分割领域中的优秀模型，但是部分模型复现还是挺麻烦的，其中最烦的应该得包括安装库文件和看源代码了 一 简介： paddle是百度推出的国内首个深度学习应用平台，里面包含了很多优秀经典的模型，方便实用的API接口。额······，我不是打广告的，仅仅记录在接触并开始使用paddle，到目前为止遇到的问题和解决办法。 二 安装（常见问题与解决）： 安装主要参考paddle在GitHub的官方文档，这里要选择是安装CPU版还
onnx模型的转换和使用
p_mouren的博客
10-27 4265
本文以一个实际例子，讲解onnx模型的转换和简单推理方法。
ONNX格式模型转MNN格式模型
gy笨瓜的博客
10-03 3763
本文主要包含ONNX格式模型转MNN格式模型的两种方法 第一种方法：在线转换 网址：https://convertmodel.com/ 网页截图如下： 第二种方法：使用MNNConvert工具转换（待csdn审核通过，加入windows系统MNNConvert.exe的CSDN下载地址） 测试系统：Windows 7 Service Pack 1 测试版本： 使用方法：控制台输入命令（注意目录切换） MNNConvert.exe –f ONNX --modelFile model_onnx.onnx..
详细阐述Swin transformer主干特征提取网络
05-03
Swin Transformer是一种新型的Transformer模型结构，特别适用于视觉领域的任务。其主干特征提取网络包括以下几个重要的特点： 1. Hierarchical Feature Extraction：Swin Transformer通过一种层级式的特征提取方式，将图像特征逐层分解，从而得到不同层次的特征表示。这种特征提取方式可以更好地捕捉图像中的不同尺度和细节信息。 2. Shifted Window Approach：为了避免传统的Transformer模型中的全局自注意力机制中的高计算复杂度，Swin Transformer采用了一种移位窗口策略，将全局自注意力机制中的计算复杂度从O(N^2)降低到O(NlogN)的级别，从而大大减少了计算量。 3. Patch Partitioning：Swin Transformer在输入图像前，采用了一种划分图像块的策略，将图像划分成多个小块，然后对每个小块进行独立的特征提取，从而提高了模型的并行性和可扩展性。 4. Layered Architecture：Swin Transformer的网络结构采用了一种层级式的架构，每个层次都包括了多个Transformer块，每个块中又包含了多个注意力头，从而进一步增强了模型的特征提取能力。 综上所述，Swin Transformer主干特征提取网络采用了一系列创新的设计，从而提高了模型的计算效率和特征提取能力，使其在图像识别、目标检测、语义分割等任务中都具有很好的表现。
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sxj731533730

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值