CVPR‘2024 即插即用系列! | StructViT：结构化视觉Transformer

已于 2024-06-19 18:00:53 修改
阅读量3.5k 收藏 28
点赞数 32
文章标签： transformer 深度学习 人工智能 python 计算机视觉 图像处理 分类
于 2024-06-19 17:37:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aredd/article/details/139805986
版权

 

Title：Learning Correlation Structures for Vision Transformers

Paper：Learning Correlation Structures for Vision Transformers

Code：Learning Correlation Structures for Vision Transformers (kimmanjin.github.io)

导读

本文提出一种新的注意力机制，称为结构自注意力（StructSA），并提出StructViT：结构视觉Transformer，StructVit可以有效提取图像中的结构化信息，在图像和视频分类任务上性能表现SOTA！

最低0.47元/天 解锁文章
republic~
关注
【即插即用完整代码】CVPR 2024部分单头注意力SHSA，分类、检测和分割SOTA！
m0_58508552的博客
01-06 1191
【即插即用完整代码】CVPR 2024部分单头注意力SHSA，分类、检测和分割SOTA！
CBAM等 即插即用系列 计算机视觉
IlgCrystal的博客
09-17 190
最后，CBAM模块将CAM和SAM模块串联起来，实现对输入特征图的通道和空间注意力加权。CBAM模块能够自动学习图像中的关键特征，并对这些特征进行加权，从而提升模型的性能。在实际应用中，你可以根据具体任务和需求选择不同的即插即用模块，并将其嵌入到现有的深度学习模型中，以实现更好的视觉分析效果。通过使用CBAM模块，我们可以提高模型对图像中重要特征的关注程度，从而提升模型在图像分类任务中的性能。在计算机视觉任务中，我们可以将CBAM模块嵌入到已有的深度学习模型中，以提升其性能。
CVPR 2024 即插即用！ CA：新注意力机制，助力分类 检测 分割涨点！
2401_83947398的博客
04-28 4255
与Non-local/self-attention的方法不同，CA方法考虑了一种更有效的方法来捕获位置信息和通道关系，以增强Mobile Network的特征表示。这2种转换也允许注意力模块捕捉到沿着一个空间方向的长期依赖关系，并保存沿着另一个空间方向的精确位置信息，这有助于网络更准确地定位感兴趣的目标。然而，它只考虑通过建模通道关系来重新衡量每个通道的重要性，而忽略了位置信息，但是位置信息对于生成空间选择性attention maps是很重要的。是2个线性变换，可以通过学习来捕捉每个通道的重要性。
盘点13种即插即用的涨点模块，含注意力机制、卷积变体、Transformer变体
学姐带你玩AI的博客
11-06 4105
各种注意力机制被研究用以提高不同计算机视觉任务的性能。然而，之前的方法忽略了保留通道和空间两个方面的信息以增强跨维度交互的重要性。因此，论文提出一种全局注意力机制，通过通道和空间双注意力减少信息损失，增强全局特征交互,从而提升视觉任务的性能。
CVPR2023 即插即用系列 | 一种高效轻量的自注意力机制助力图像恢复网络问鼎SOTA！
专注计算机视觉全栈知识分享
03-19 5746
如果您也对人工智能和计算机视觉全栈领域感兴趣，强烈推荐您关注有料、有趣、有爱的公众号『CVHub』，每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案！同时欢迎添加小编微信: cv_huber，备注CSDN，加入官方学术|技术|招聘交流群，一起探讨更多有趣的话题！
涨点神器：即插即用特征融合模块！超低参数，性能依旧SOTA
学姐带你玩AI的博客
05-14 2916
在写论文时，一些通用性模块可以在不同的网络结构中重复使用，这，帮助我们。比如在视觉任务中，可以无缝集成到现有网络中，以灵活、简单的方式。这类模块通过专注于数据的关键点和模式，帮助模型更有效地学习特征，从而。以南航提出的AFF模块、港大等提出的即插即用轻量级模块AdaptFormer为例：AFF模块：一种即插即用的新注意力特征融合机制AFF，仅使用了35.1M的参数量就能达到性能优于SKNet、SENet等方法的效果。
VIT中提取图像分类特征的详细步骤
热门推荐
weixin_42089699的博客
03-04 1万+
图1. VIT结构图 VIT是第一篇纯视觉transformer,被当成了许多网络的backbone。现在自己梳理一下VIT怎么从一张图像中提取特征，最后用于分类的过程。（自己的理解，如有不对，欢迎指正） 处理流程： 第一步：输入一张尺寸为h*w*c的图像； 第二步：将图像分成p*p*c的小块，那么一共可以获得n个图像块【n=（h*w）/(p*p)】，同时添加一个可学习的类别块，则总共有（n+1）个块待处理，这个类别块将用于与所有的图像小块进行交互，最终从类别块中学习到用于分类的特征； 第三步..
CVPR和其他2024顶会论文阅读（资源整理【1】）
cnjs1994的博客
12-05 1268
总结了一些今年视觉方向的顶会论文，后续会继续完善！
VIT实战总结：非常简单的VIT入门教程，一定不要错过
AI浩
02-21 8581
文章目录摘要项目结构计算mean和std生成数据集数据增强Cutout和Mixup导入项目使用的库设置全局参数图像预处理与增强读取数据设置模型定义训练和验证函数测试 摘要 本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用pytorch版本的VIT图像分类模型实现分类任务。 通过本文你和学到： 1、如何构建VIT模型？ 2、如何生成数据集？ 3、如何使用Cutout数据增强？ 4、如何使用Mixup数据增强。 5、如何实现训练和验证。 6、如何使用余弦退火调整学习率？ 7、预测
ViT（Visual Transformer）最通俗易懂的讲解（有代码）
2301_77653781的博客
09-19 8471
深入浅出，通俗易懂理解ViT(Vision Transformer)网络模型和代码。本文详细介绍了Google在ICLR上发布的VIT模型，它是首个在计算机视觉领域超越CNN和RNN的Transformer模型。文章重点阐述了VIT的结构，包括图像特征嵌入、Transformer编码器（含多头注意力机制）、MLP分类模块，以及模型的亮点和整体架构。
InteractDiffusion
whaosoft143ai的博客
05-02 280
并使用富含语义的token来将其表示为HOI三元组〈主体，动作，客体〉，这种形式提高了模型对于复杂交互的表示能力。但是目前的方法对于生成图像中对象之间的交互关系控制的并不是很好，本文介绍一篇来自南洋理工大学和马来亚大学合作完成的论文。为了对模型的HOI鲁棒性进行评估，作者还设置了两类HOI Score，即对默认对象和已知对象进行检测，其中默认设置更具挑战性，因为它需要区分不相关的图像。，该信息由三元组标签（人、动作、物体）和相应的边界框组成，可以灵活的嵌入到各种扩散模型中生成复杂的交互图像。whaosoft
CVPR 2024 涨点！RMem: 用更少的信息，理解更难/更长的视频
阿木寺的博客
06-17 408
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！作者：庞子奇https://zhuanlan.zhihu.com/p/703340384...
RT-DETR算法优化改进:block优化 | PKIBlock多尺度卷积核，优势无需膨胀，即插即用小目标涨点 | CVPR2024 PKINet 遥感图像目标检测
03-23 651
无需膨胀即可提取不同感受野中的多尺度纹理特征。
YOLOV8改进：CVPR 2023 | SCConv: 即插即用的空间和通道重建卷积
2201_76125261的博客
10-05 334
1.该文章属于YOLOV5/YOLOV7/YOLOV8改进专栏，包含大量的改进方式，主要以2023年的最新文章和2022年的文章提出改进方式。2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。2.涨点效果：添加 SCConv，经过测试，有效涨点。卷积神经网络(cnn)在各种计算机视觉任务中取得了显著的性能，但这是以巨大的计算资源为代价的，部分原因是卷积层提取冗余特征。最近的作品要么压缩训练有素的大型模型，要么探索设计良好的轻量级模型。
YOLOv10涨点改进：如何魔改注意力进行二次创新，高效替换PSA | NEU-DET为案列进行展开
05-28 5910
在NEU-DET案列进行可行性验证，1）mAP50从0.683提升至0.698；2）mAP50从0.683提升至0.695;
CVPR 2022 | 即插即用！南洋理工&商汤开源SAM-DETR: 利用语义对齐匹配实现快速收敛的DETR...
阿木寺的博客
04-01 1587
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：轻尘一笑 |已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/489839282导读：在CVPR 2022上，新加坡南洋理工大学和商汤研究院的科研团队提出了SAM-DETR —— 利用语义对齐匹配加速DETR检测器收敛。它仅引入一个简单的即插即用的模...
CVPR2024 | 视频插帧视觉效果新突破！上海交大提出PerVFI，视频插帧新范式
我爱计算机视觉
06-15 1076
关注公众号，发现CV技术之美分享一篇来自CVPR2024的视频插帧工作《Perception-Oriented Video Frame Interpolation via Asymmetric Blending》。该论文提出的视频插帧算法PerVFI在视觉效果上实现了新的突破。同时，论文阐述了新的视频插帧范式，有效解决现有插帧算法的痛点。论文地址：https://openaccess.thecvf...
CVPR 2024｜NAT其实真的不输扩散模型！AutoNAT：全新定制训练&生成策略拓宽性能边界
Z4400840的博客
09-05 1225
ToCom作为一个即插即用的模块，能够有效地解耦训练和推理过程中的标记压缩程度。在VTAB-1k基准测试中，ToCom在DeiT-B的平均性能上比ToMe最高可提升2.0%。标记压缩通过减少冗余标记的数量（例如，修剪不重要的标记或合并相似的标记）来加快视觉变换器（ViTs）的训练和推理。然而，当这些方法应用于下游任务时，如果训练和推理阶段的压缩程度不匹配，会导致显著的性能下降，这限制了标记压缩在现成训练模型上的应用。因此提出了标记补偿器（ToCom），以解耦两个阶段之间的压缩程度。
深度学习-数值稳定性和模型初始化
最新发布
fantasy_ARM9的博客
04-24 372
到目前为止，我们实现的每个模型都是根据某个预先制定的分布来初始化模型的参数，有人会认为初始化方案时理所当然的，忽略了如何做出这些选择的细节，甚至有人可能会觉得，初始化方案的选择并不是特别重要，实际上，初始化方案的选择在神经网络学习中起着举足轻重的作用，保持数值稳定性至关重要。换而言之，该剃度是L-1 个矩阵M(L) ... M(l + 1) 与梯度向量v(l)的乘积。遗憾的是，这会使上面的问题更为严重，矩阵M可能是各种各样的特征值，可能很小，也可能很大，而他们的乘积可能非常大，也可能非常小。
transformer改进即插即用
03-13
### 改进Transformer模型以支持即插即用功能 为了使Transformer模型具备更好的即插即用特性，在硬件加速方面可以采用FPGA来优化推理过程。FlightLLM项目展示了通过完整的映射流程在FPGAs上高效执行大规模语言模型推断的方法[^1]。 具体而言，改进措施包括： - **模块化设计**：构建可重配置的组件以便于集成到不同的应用环境中。这涉及到定义清晰接口标准使得新旧系统之间能够无缝对接。 - **资源分配优化**：针对特定任务需求调整计算资源配置策略，从而提高性能并降低延迟。例如，在FPGA平台上实施高效的内存管理和数据流控制机制有助于增强实时处理能力。 - **自动化部署工具链**：开发易于使用的软件栈简化从训练完成后的模型转换至目标平台的过程。此类工具应能自动解析架构描述文件，并据此生成适配底层硬件特性的执行代码。 ```python import torch.nn as nn class PlugAndPlayTransformer(nn.Module): def __init__(self, config): super(PlugAndPlayTransformer, self).__init__() # 定义基础结构参数 self.config = config # 实现自注意力层和其他必要组件... def forward(self, input_ids=None, attention_mask=None): outputs = {} # 执行前向传播逻辑... return outputs ``` 上述Python类展示了一个简化的框架用于创建具有即插即用属性的变压器实例。实际应用中还需要考虑更多细节如量化感知训练、剪枝技术等进一步提升效率和兼容性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值