【论文笔记】VAN，干掉了CNN和ViT的最新架构

最新推荐文章于 2025-01-07 11:42:17 发布
最新推荐文章于 2025-01-07 11:42:17 发布
阅读量1.6k 收藏 11
点赞数 1
分类专栏： CV 文章标签： cnn 深度学习 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shenlanshenyanai/article/details/123383729
版权
本文提出视觉注意网络（VAN），通过大核注意力（LKA）模型结合卷积和自注意力的优点，解决CNN和Transformer的局限。VAN在图像分类、目标检测等任务上超越SOTA，并探讨了未来改进方向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在本文中，提出了一种新的大核注意力large kernal attention（LKA）模型， LKA吸收了卷积和自我注意的优点，包括局部结构信息、长程依赖性和适应性。同时，避免了忽略在通道维度上的适应性等缺点。作者进一步介绍了一种基于LKA的新型神经网络，即视觉注意网络（VAN）。VAN在图像分类、目标检测、实例分割、语义分割方面，都”远远超过了”SOTA的CNN和视觉transformer。

原文地址：https://arxiv.org/abs/2202.09741

相关工作

CNN

学习特征表示（feature representation）很重要， CNN因为使用了局部上下文信息和平移不变性，极大地提高了神经网络的效率。在加深网络的同时，网络也在追求更加轻量化。本文的工作与MobileNet有些相似，把一个标准的卷积分解为了两个部分：一个depthwise conv，一个pointwise conv。本文把一个卷积分解成了三个部分：depthwise conv， depthwise and dilated conv 和pointwise conv。我们的工作将更适合高效地分解大核

最低0.47元/天 解锁文章
融合轻量级ViT与CNN的广范围红外图像超分辨率重建
weixin_70923796的博客
06-15 761
卷积神经网络的注意力机制模型重建波长范围广的红外图像时只能聚焦于局部特征、感受野小，为此提出一种适用于重建广范围红外图像的融合轻量级视觉Transformer（ViT）与卷积神经网络的模型。该模型采用改进的轻量级残差块结合轻量级ViT块构建全局自注意力机制模型，学习不同特征图区域之间的长距离注意力依赖关系以辅助重建，约束解空间，采用Huber损失函数使模型稳定收敛，通过迭代上下采样的方式挖掘高低分辨率图像对的深层变换关系。
HorNet：融合ViT和CNN的优点，实现完全基于卷积结构的高阶空间交互建模
我爱计算机视觉
08-17 1463
关注公众号，发现CV技术之美今天分享一篇来自清华大学和Meta AI的论文"HorNet: Efficient High-Order Spatial Interactions with Recursive Gated Convolutions"。凭借强大的空间建模机制，vision Transformers在多种视觉任务中取得了成功。本文中，作者从空间交互建模的角度发现，vision Transf...
CNN 与 ViT 的完美结合 | TransXNet: 结合局部和全局注意力提供强大的归纳偏差和高效感受野
hellozhxy的博客
01-12 2860
在以前的方法中，为了实现 token 之间的交互，通常会使用 1×11 \times 1 卷积层，但这会导致相当大的计算开销。中的注意力矩阵都是动态生成的，使用了前几个块中收集的局部和全局信息，从而增强了网络的表示能力，融入了强大的归纳偏差和扩展的有效感受野。，通过有效利用不同的特征提取方法，提高了网络的表示能力，同时在前馈网络中引入多尺度的特征聚合，为各种视觉任务提供了出色的性能。、目标检测和语义/实例分割任务上进行了大量实验，结果表明，所提方法在性能上超越了以前的方法，同时具有更低的计算成本。
论文阅读|VAN
weixin_45782047的博客
03-29 2600
论文阅读|VAN
最新剪枝方法｜CNN与ViT模型都适用！（已开源）
CV_Autobot的博客
03-24 3910
作者| 小书童 编辑|集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！结构化剪枝通过从神经网络中删除结构分组的参数来实现模型加速。然而，参数分组模式在不同的模型中差异很大，使得依赖于手动设计的分组方案的特定于体系结构的剪枝器无法推广到新的体系结构...
深度学习热力图绘制代码，例如，CNN、VIT、Swin等模型，能直接使用
03-29
深度学习热力图绘制代码，例如，CNN、VIT、Swin等模型，能直接使用。CAM又叫类别激活映射图，也被称为类别热力图、显著性图等。是一张和原始图片等同大小图，该图片上每个位置的像素取值范围从0到1，一般用0到255的...
解读CVPR2024-论文分享|RepViT: Revisiting Mobile CNN From ViT Perspective
paixiaoxin的博客
12-12 1123
这篇论文探讨了在资源受限的移动设备上，轻量级视觉变换器（ViTs）与轻量级卷积神经网络（CNNs）的性能和延迟。作者发现，尽管轻量级ViTs在性能上优于轻量级CNNs，但在硬件和计算库支持方面存在实际挑战。因此，研究团队重新审视了轻量级CNN的设计，并强调了其在移动设备部署上的潜力。通过将轻量级ViTs的高效架构设计集成到标准轻量级CNN（MobileNetV3）中，研究者们提出了一个新的轻量级CNN系列——RepViT。
双热点炸场！CNN与ViT完美结合，低端CPU上实现高精度与快速计算
学姐带你玩AI的博客
07-22 1418
目前已经成为视觉任务中的一类强大的基础架构，它不仅能胜过传统的Transformer，还可以胜过高性能卷积模型，为我们提供更广泛的创新空间。这种技术整合了CNN的局部特征提取能力和ViT的全局特征捕捉优势，让模型更适应各种不同类型的图像任务，显著提升图像处理任务的性能表现。比如CNN-VIT轻量级混合网络SBCFormer，在低端cpu上实现了高精度和快速的计算。利用以上优势，我们可以考虑一些CNN结合ViT的创新方向，主要有分层融合、动态架构调整、自监督学习等。
CV-visiontransformer经典论文解读|RepViT: Revisiting Mobile CNN From ViT PerspectiveRepViT：从ViT视角重新审视移动CNN
最新发布
paixiaoxin的博客
01-07 573
本文探讨了如何从视觉变换器（ViT）的角度重新设计轻量级卷积神经网络（CNN），以提高其在移动设备上的性能和效率。研究者们通过将轻量级ViT的高效架构设计整合到标准的轻量级CNN（如MobileNetV3）中，提出了一种新的轻量级CNN家族——RepViT。实验表明，RepViT在各种视觉任务中均优于现有的轻量级ViT模型，并在iPhone 12上实现了超过80%的top-1准确率和1.0 ms的延迟。此外，RepViT与SAM结合后，其推理速度比MobileSAM快近10倍。
ViT还能怎么卷？TransXNet：下一代CNN和ViT结合新范式！
CV_Autobot的博客
11-10 1395
作者|派派星 编辑| CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【Transformer】技术交流群本文只做学术分享，如有侵权，联系删文导读本文依旧从经典的ViTs说起，即基于MHSA构建远距离建模实现全局感受野的覆盖，但缺乏像CNNs般的归纳偏差能力。因此在泛化能力上相对较弱，需要大量的训练样本和数据增强策略来弥补。针对...
【CNN+VIT】LocalViT: Bringing Locality to Vision Transformers
m0_58678659的博客
03-28 5344
Local ViT 引入深度卷积的 Vision Transformer
【Computer VIsion论文笔记】VAN解读
zjy_cn的博客
10-03 458
近些年，Transformer中提出的Self-Attention（自注意力）在计算机视觉任务中大火，冲击了CNN（卷积神经网络）在深度学习中的主导地位。作者在论文中指出，Self-Attention在视觉任务中有三个缺点：（1）将图像视为一维序列，这忽略了它本身的二维结构；（2） 对于高分辨率图像，二次复杂度太昂贵；（3）只捕获空间适应性，而忽略了通道适应性。
论文笔记：ViT Adapter——Transformer与CNN特征融合，屠榜语义分割！
小蜗牛的珍贵百宝箱
12-23 1049
的核心思想是通过在ViT模型中引入一个适配器（Adapter）模块，将CNN提取的局部特征与Transformer的全局特征有效融合，从而提升模型对图像内容的理解能力。ViT Adapter提出了一种创新的方式，将CNN的局部特征和ViT的全局特征有效融合，从而提升了语义分割的性能。通过实验验证，ViT Adapter在多个数据集上都取得了显著的性能提升，尤其是在处理复杂场景和长距离依赖关系时，展现了Transformer和CNN结合的强大优势。未来，ViT Adapter的适。
【NIPS 2022】DHVT：弥补ViT与CNN在小数据集上的性能差距
m0_63642362的博客
06-19 533
Bridging the Gap Between Vision Transformers and Convolutional Neural Networks on Small Datase浅析
Visual Attention Network（VAN）
qq_42075634的博客
09-16 4285
LKA与 MobileNet [6] 有相似之处， MobileNe将标准卷积解耦为两部分，一个深度卷积和一个点卷积（也称为 1 × 1 Conv [36]）。我们的方法将卷积分解为三部分：深度卷积、深度和扩张卷积[37]、[38]和点卷积。受益于这种分解，LKA更适合有效地分解大核卷积。我们还在LKA中引入了注意力机制来获得自适应特性。
深度学习
vanloswang的专栏
09-04 637
Deep Learning（深度学习）学习笔记整理系列之（一）
深度网络设计技巧(五)之VAN：Visual Attention Network#超越Swin的纯CNN#
wqthaha的专栏
07-10 1751
今天了解一个卷积的新操作，即解耦卷积。说是新，其实旧，比如MobileNet为了高效率地推断，将一个标准的CNN看成一个Depth-wise CNN和Point-wise CNN，即解耦。本篇文章将一个更大的卷积核解耦成三个不同类型的CNN操作。虽然取得了超过众多SOTA的性能，但是在MLP中采用经典的DW-FFN，究竟是MLP带来了性能提升，还是大核注意力起了作用，有点存疑！............
即插即用 | Fast-ParC：CNN和ViT通用Trick！即插即涨，即提速！
CV_Autobot的博客
10-26 3581
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【transformer综述】获取2022最新ViT综述论文！近年来，Transformer模型在各个领域都取得了巨大的进展。在计算机视觉领域，视觉Transformer（ViTs）也成为卷积神经网络（ConvNets）的有力替代品，但它们还无法取代ConvNet，因为两者都有各自的优点。例如...
CNN启发的ViT：预训练的革命性突破
相较于CNN，ViT由于其通用Transformer架构和自注意力机制，能够更好地捕捉图像中的全局上下文信息。然而，这些优势往往伴随着对大规模数据的依赖，特别是对于小数据集，ViT容易出现过拟合问题，这就导致了对预训练的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值