2023年度端侧transformer类分类力作SwiftFormer模型解读

已于 2023-12-07 18:48:46 修改
阅读量356 收藏 3
点赞数 2
分类专栏： 深度学习 多标签分类算法 文章标签： transformer 深度学习 人工智能 分类任务 attention
于 2023-12-05 19:53:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thomascai001/article/details/134814518
版权

写在前面：本篇直接结合代码来理解网络的笔记

paper: Swiftformer-paper
code: https://github.com/Amshaker/SwiftFormer

在这里插入图片描述

文章目录


在这里插入图片描述

网络结构精析

零、整体

可以看到结构中，整体就是：
stem -> 5X(convEncoder+Swiftformer) -> head
对应代码在swiftformer.py在大概427行
在这里插入图片描述
head中self.dist的判断是有否蒸馏网络的分支。这就是整个的网络结果，下面讲解各个部分。

一、patch embed

图片预处理输入到 ----> patch embed结构
代码中 swiftformer.py 定义在大概317行
在这里插入图片描述
stem函数的两个参数是：输入通道和输出通道，embed_dims[0]是模型根据尺寸(如XS/X/L1/L3)设定的超参的第0个值。这里输入是通道数是3，图片是3层的，然后定义如下：
在这里插入图片描述

二、stage

未完待续

Thomas_Cai
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
SwiftFormer：基于Transformer的高效加性注意力用于实时移动视觉应用的模型
m0_47867638的博客
10-14 2919
视觉Transformer模型基于自注意力（请参阅图2（a）），它可以有效地建模输入令牌之间的交互。具体来说，自注意力的输入是x\mathbf{x}x，其中x∈Rn×dx∈Rn×d，包括 n 个具有 d 维嵌入向量的令牌。输入x\mathbf{x}x通过三个矩阵WQWK和WV\mathbf{W}_{\mathbf{Q}}、\mathbf{W}_{\mathbf{K}} 和 \mathbf{W}_{\mathbf{V}}WQ​WK​和WV​。
YoloV8改进策略：SwiftFormer，全网首发，独家改进的高效加性注意力用于实时移动视觉应用的模型，重构YoloV8
m0_47867638的博客
10-15 4099
近年来，Transformer模型在各种视觉应用中显示出了显著的成功，如分类[9, 10, 23, 24, 44]、检测[2, 28, 33, 58, 61]和分割[4, 40]。然而，由于这些模型的固有复杂性，将这些模型部署到资源有限的移动设备上进行实时应用仍然具有挑战性[20, 29]。具体来说，视觉Transformer（ViTs）依赖于全局自注意力，而全局自注意力相对于输入图像分辨率具有二次复杂性，使得在低功耗移动设备上的部署不切实际[31]。
ICCV 2023 | SwiftFormer：基于Transformer的实时移动视觉应用中的高效加性注意
不要给自己设限，尝试更多可能（思所向 皆可往）
11-02 2135
论文：https://browse.arxiv.org/pdf/2303.15446.pdf代码：https://github.com/Amshaker/SwiftFormer在各种视觉应用中，自注意力已经成为捕获全局上下文的一种事实上的选择。然而，它在图像分辨率方面的二次计算复杂性限制了它在实时应用程序中的使用，特别是在资源受限的移动设备上的部署。虽然已经提出了混合方法来结合卷积和自注意的优点，以获得更好的速度和精度权衡，但自注意中昂贵的矩阵乘法运算仍然是一个瓶颈。1. 本文引入了一种新的有效的加性注意
SwiftFormer：高效加性注意用于基于Transformer的实时移动端视觉应用
最新发布
yorkhunter的博客
06-10 1014
23年7月来自阿联酋、韩国、瑞典和美国多家机构的论文“SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications“。
YoloV5改进策略：SwiftFormer，全网首发，独家改进的高效加性注意力用于实时移动视觉应用的模型，重构YoloV5
m0_47867638的博客
10-18 2272
本文提出了新型高效加性注意力机制，替代传统自注意力机制中的二次矩阵乘法操作，线性元素级乘法可实现关键-值交互的替换。该高效自注意力机制可在网络所有阶段使用，不会牺牲准确性。同时介绍了名为“SwiftFormer”的模型系列，在准确性和移动推理速度方面达到了最先进的性能。其中一种小规模变体在iPhone 14上以仅0.8毫秒的延迟实现了78.5%的ImageNet-1K准确率，比MobileViT-v2更准确且快两倍，可用于分类、检测和分割等视觉应用。
YoloV7改进策略：SwiftFormer，全网首发，独家改进的高效加性注意力用于实时移动视觉应用的模型，重构YoloV7
m0_47867638的博客
10-22 2340
本文提出了新型高效加性注意力机制，替代传统自注意力机制中的二次矩阵乘法操作，线性元素级乘法可实现关键-值交互的替换。该高效自注意力机制可在网络所有阶段使用，不会牺牲准确性。同时介绍了名为“SwiftFormer”的模型系列，在准确性和移动推理速度方面达到了最先进的性能。其中一种小规模变体在iPhone 14上以仅0.8毫秒的延迟实现了78.5%的ImageNet-1K准确率，比MobileViT-v2更准确且快两倍，可用于分类、检测和分割等视觉应用。
Swin Transformer 实现图像分类
05-29
Swin Transformer 是一种基于Transformer架构的深度学习模型，由Pengchao Zhang等人在2021年提出，主要用于计算机视觉任务，如图像分类、目标检测和语义分割。相较于传统的卷积神经网络（CNN），Swin Transformer ...
基于Transformer的多导联ECG分类（Pytorch框架）
06-04
使用Transformer模型应用于多通道ECG分类任务上，压缩包里有数据集（双通道ECG信号，处理后的信号每个通道长度为152，类别数为2，训练及测试样本数为100）、数据处理代码和模型代码，可以直接运行，准确率达到85%。...
人工智能-Transformer-图像分类-基于Swin-transformer训练图像分类并部署web端
04-09
具体包含以下几个步骤： 1.加载预训练权重√ 2.图片数据集准备√ 3.训练√ 4.推理测试√ 5.新的数据增强调优 ...6.部署在web端√ 服务器端部署：运行flask_demo， ...也可以使用postman测试服务器端
VIT(vision transformer)实现图像分类
05-29
VIT(vision transformer)实现图像分类，是将transformer首次应用于CV(计算机视觉)领域，该资源包含所有源代码，拿走技能运行跑通，包含数据集和训练好的权重，分类精度高达99%以上。
使用swin_transformer做自己数据集的图像分类
04-30
使用的数据集共有5种类别，使用Swin-T预训练模型进行训练。
Swin Transformer详解
热门推荐
qq_43349542的博客
07-09 2万+
之前transformer主要用于NLP领域，现在也应用到了CV领域。
目标检测之COCO评价指标
Thomas_Cai的记忆殿堂
09-04 1万+
一、基础概念 TP: IoU>0.5的检测框数量（同一Ground Truth只计算一次） FP: IoU<=0.5的检测框，或者是检测到同一个GT的多余检测框的数量 FN: 没有检测到的GT的数量 Precision: TP / (TP + FP) Recall: TP / (TP + FN) PR曲线: Precision-Recall曲线 AP: PR曲线下面积 mAP: mean Average Precision, 即各类别AP的平均值 二、AP、mAP、AR、mAR计算 AP
caffe.pb.h丢失问题解决方法
Thomas_Cai的记忆殿堂
12-30 1万+
错误提示 fatal error: caffe/proto/caffe.pb.h: No such file or directory #include "caffe/proto/caffe.pb.h" 一、有可能是make太快造成的错误 make all -j 改为 make all 试试 二、否则就是丢失问题了 解决方法： 用protoc从...
Conda环境搭建以及激活
Thomas_Cai的记忆殿堂
02-06 1万+
0. 前言 conda可以创造出不同的环境空间，满足多python或不同的依赖包版本的快速切换，通俗的来说，可以直接切换环境。 1. 环境准备 先界面话安装anaconda3 2. 创建环境 conda create -n pytorch python=3.6 注：创建名称为pytorch，python版本为3.6的环境 3. 激活以及切换环境 conda activate pytorch 4. 退出环境 conda deactivate ...
（2018/4/7更新资源链接）Ubuntu14.04上配置caffe经验总结（含GPU）
Thomas_Cai的记忆殿堂
10-19 4633
-----------------2016/10/27更新----------------------------- 参考链接，感谢原作者！ http://blog.csdn.net/enjoyyl/article/details/47397505 http://blog.sina.com.cn/s/blog_51fad6900102wlmx.html 笔者在双系统ubuntu...
目标检测资源合集
Thomas_Cai的记忆殿堂
03-19 3383
目标检测经典算法合集，R-CNN Fast R-CNN Faster R-CNN SSD YOLO系列，持续更新。
异常检测 | EfficientAD: Accurate Visual Anomaly Detection at Millisecond-Level Latencies 毫秒级延迟的精准视觉异常检测
Thomas_Cai的记忆殿堂
08-26 3336
摘要：检测图像中的异常是一项重要的任务，特别是在实时计算机视觉应用中。在这个工作中，我们关注计算效率并提出处理图像的轻量级特征提取器在现代GPU上不到一毫秒。然后我们使用学生-教师方法检测异常特征。我们训练一个学生网络来预测所提取的特征正常的，即无异常的训练图像。在测试时检测异常是由于学生无法预测其特征。我们提出了一种训练损失，阻碍学生模仿教师特征提取器超出正常图像。它使我们大大降低了学生-教师模型的计算成本，同时提高了异常特征的检测。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Thomas_Cai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值