- 博客(70)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Depth Anything | 致敬SAM，港大&字节提出用于任意图像的深度估计大模型，已开源！
本文首发于欢迎关注，近距离接触底层视觉与基础AI技术本文提出一种用于单目深度估计(Monocular Depth Estimation, MDE)的高度实用方案「致敬Segment Anything」，它旨在构建一种可以处理任务环境下任意图像的简单且强力的基础深度模型。作者在六个公开数据集与随机拍摄图片上评估了模型的zero-shot能力；通过度量深度信息微调达成新的SOTA；更优的深度模型进而引申出更优的深度引导ControlNet。
2024-02-25 10:16:17
1000
原创 BRIA.AI开源最强AI一键抠图模型RMBG，超简上手体验
本文首发:欢迎关注，近距离接触底层视觉与基础AI技术近日，团队于开源了一个基于ISNet背景移除模型，它可以有效对前景与背景进行分离。RMBG-1.4在精心构建的数据集上训练而来，该数据包含常规图像、电商、游戏以及广告内容，该方案达到了商业级性能，但仅限于非商业用途。。更详细的数据分布介绍请移步[，用户只需要上传图片即可体验。
2024-02-25 10:12:34
1477
2
原创 CVPR2024 | 大核卷积新高度101x101，美团提出PeLK
最近，一些大核卷积网络以吸引人的性能和效率进行了反击。然而，考虑到卷积的平方复杂度，扩大内核会带来大量的参数，而大量的参数会引发严重的优化问题。由于这些问题，当前的 CNN 妥协以条带卷积的形式扩展到 (即 + ），并随着内核大小的持续增长而开始饱和。在本文中，我们深入研究解决这些重要问题，并探讨我们是否可以继续扩展内核以获得更多性能提升。受人类视觉的启发，我们提出了一种类人外围卷积，通过参数共享有效减少了密集网格卷积 90% 以上的参数数量，并设法将内核尺寸扩大到极大。
2024-03-14 20:38:23
1661
原创 CVPR2024 | 改善多模态大模型底层视觉能力，NTU与商汤联合提出Q-Instruct，已开源
以随机损坏 COCO数据集中的 1,012 张原始原始图像，其中人工扭曲率为 15 分之一。组装的子采样数据集由 18,973 张图像组成，这些图像进一步馈送到人类受试者以提供通路反馈。
2024-03-14 20:37:14
1046
原创 “羊驼“入侵CV，美团&浙大沈春华团队将LLaMA向CV扩展，构建全新基础模型VisionLLaMA
大型语言模型构建在基于Transformer的架构之上来处理文本输入, LLaMA 系列模型在众多开源实现中脱颖而出。类似LLaMa的Transformer可以用来处理2D图像吗？在本文中，我们通过提出一种类似 LLaMA 的朴素和金字塔形式的Transformer来回答这个问题，称为。VisionLLaMA 是一个统一的通用建模框架，用于解决大多数视觉任务。我们采用经典的预训练框架在图像感知(尤其是图像生成)任务上对齐有效性进行了充分评估。
2024-03-04 22:10:23
1108
原创 CVPR2024 | Dropout之后又一改善图像超分泛化性能的正则方案SimpleAlign，已开源！
深度学习为图像超分辨率（SISR）带来了性能上的巨大飞跃。大多数现有工作都假设一个简单且固定的退化模型（例如双三次下采样），但Blind SR 的研究旨在提高未知退化情况下的模型泛化能力。最近，Kong等人率先研究了一种更适合使用 Dropout 的 Blind SR 训练策略RDSR。尽管这种方法确实通过减轻过度拟合带来了实质性的泛化改进，但我们认为Dropout 同时引入了不良的副作用，损害了模型忠实重建精细细节的能力。我们在论文中展示了理论和实验分析，此外，我们。
2024-03-04 20:47:25
1025
原创 ChatGPT聊图像超分
续接前文，今天继续拿图像超分领域的经典方法来询问ChatGPT的看法，这里主要挑选了以下几个方案SRCNN、ESPSRN、EDSR、RCAN、ESRGAN、BSRGAN、Real-ESRGAN、SwinIR等超分辨率必读方案。
2024-03-03 10:03:54
965
1
原创 NTIRE2023-RTSR-Track2 冠军方案详解
编辑 | Happy首发 | AIWalker链接 | https://mp.weixin.qq.com/s/JQ5g9yn_OdjR8hi_tWc4jA本文了一个实时&轻量图像超分方案Bicubic++，它通过下采样模块降低图像分辨率以减少计算量，在网络尾部采用X6上采样进行图像重建，同时还构建了一个三阶段训练方案。在测试集上，(注：fp16精度，720p输入，4K输出)。此外，，所提方案与其他轻量化方案的性能对比可参考下图。值得称道的就是，，故很有机会成为新的工业标准。
2024-03-03 10:02:49
882
原创 CVPR2023 | 提升图像去噪网络的泛化性，港科大&上海AILab提出 MaskedDenoising，已开源！
作者 | 顾津锦首发 | AIWalker链接 | https://mp.weixin.qq.com/s/o4D4mNM3jL6sYuhUC6VgoQ当前深度去噪网络存在泛化能力差的情况，例如，当训练集噪声类型和测试集噪声类型不一致时，模型的性能会大打折扣。作者认为其原因在于网络倾向于过度拟合训练噪声，而没有学习图像自身的内在结构。为了解决这个问题,作者提出了一种遮盖图像训练的策略（masked image training）。
2024-03-03 10:02:01
632
原创 ChatGPT聊YOLO
最近ChatGPT大伙，其概括摘要能力非常强。YOLO系列算法也是目标检测领域非常重要的一个研究路线，那么ChatGPT是如何看待各个YOLO算法的呢？那我们去问问它如何看待各个版本的YOLO。截止到2021年9月，YOLOv6尚未发布。因此，无法对其进行价值和贡献的评价。在这之前，最新的YOLO系列算法是YOLOv5。如果有关于YOLOv5或者其他目标检测算法的问题，欢迎随时提问。
2024-03-03 10:00:48
534
原创 CVPR2024 进一步提升超分重建质量，中科大提出用于图像超分的语义感知判别器SeD，即将开源
生成对抗网络（GAN）已被广泛用于恢复图像超分辨率（SR）任务中的生动纹理。判别器使 SR 网络能够以对抗性训练的方式学习现实世界高质量图像的分布。然而，这种分布学习过于粗粒度，容易受到虚拟纹理的影响，导致生成结果违反直觉。为了解决这个问题，我们提出了一个名为 SeD 的简单而有效的语义感知判别器，它鼓励 SR 网络通过引入图像语义作为条件来学习更细粒度的分布。具体来说，我们的目标是从训练有素的语义提取器中挖掘图像的语义。
2024-03-03 09:57:23
1094
原创 AsConvSR | NTIRE2023-RTSR-Track1冠军方案
编辑 | Happy首发 | AIWalker链接 | https://mp.weixin.qq.com/s/p9u6RYkd37MmN12rUCMCuQ前段时间，NTIRE2023各个竞赛落下帷幕，近期各个冠亚军方案提出者也在逐步公开方案细节。今天给大家概要介绍一下"RTSR-Track1"赛道冠军方案，方案提出者来自华为诺亚与华为海思。
2024-03-02 09:26:03
1064
原创 CVPR2023 RIFormer, 无需TokenMixer也能达成SOTA性能的极简ViT架构
编辑 | Happy首发 | AIWalker链接 | https://mp.weixin.qq.com/s/l3US8Dsd0yNC19o7B1ZBgwToken Mixer是ViT骨干非常重要的组成成分，它用于对不同空域位置信息进行自适应聚合，但常规的自注意力往往存在高计算复杂度与高延迟问题。而直接移除Token Mixer又会导致不完备的结构先验，进而导致严重的性能下降。基于此，本文。紧接着，作者改进了学习架构以打破无Token Mixer架构的局限性并总结了5条指导方针。
2024-03-02 09:25:12
938
原创 CVPR2024 | 加速Diffusion，韩松团队提出分布式并行推理方案DistriFusion，加速6.1倍，质量不下降，已开源
扩散模型在合成高质量图像方面取得了巨大成功。然而，由于巨大的计算成本，利用扩散模型生成高分辨率图像仍然具有挑战性，导致交互式应用程序的延迟过高。在本文中，我们提出DistriFusion通过利用多个 GPU 的并行性来解决这个问题。我们的方法将模型输入拆分为多个块，并将每个块分配给GPU。然而，这样的算法最基本实现会破坏补丁之间的交互并失去保真度，而合并这样的交互将产生巨大的通信开销。为了克服这个困境，我们观察到相邻扩散步骤的输入之间的高度相似性，并提出置换补丁并行性。
2024-03-01 18:34:38
879
原创 HDSRNet | 入局图像超分，异构动态卷积玩出新花样~
首发，欢迎关注~卷积神经网络可以通过深度网络架构和给定的输入样本自动学习特征。然而，所获得的模型的鲁棒性在不同的场景中可能具有挑战性。，从而增强获得的超分辨率模型的鲁棒性。在本文中，。为了获取更多的信息，。
2024-03-01 18:29:57
723
原创 起飞咯，DEYO | YOLOv8赋能DETR构建检测达成检测新标杆
DETR的训练范式在很大程度上取决于在ImageNet数据集上预训练其骨干。然而，由图像分类任务和一对一匹配策略提供的有限监督信号导致DETR的预训练不充分的颈部。此外，在训练的早期阶段匹配的不稳定性会导致DETR的优化目标不一致。为了解决这些问题，我们设计了一种创新的培训方法，称为分步培训。具体来说，在训练的第一阶段，我们采用一个经典的检测器，用一对多的匹配策略进行预训练，以初始化端到端检测器的主干和颈部。在训练的第二阶段，我们冻结了端到端检测器的主干和颈部，需要从头开始训练解码器。
2024-02-29 07:18:09
1041
原创 超越SwinIR，Mamba入局图像复原，达成新SOTA
最近，选择性结构化状态空间模型（例如 Mamba）在具有线性复杂性的远程依赖关系建模方面表现出了巨大的潜力，但它在低级计算机视觉中仍处于探索之中。在这项工作中，我们引入了一个简单但强大的基准模型，名为 MambaIR，用于图像恢复。具体来说，我们提出残差状态空间块作为核心组件，它采用卷积和通道注意力来增强普通曼巴的能力。通过这种方式，我们的 MambaIR 利用局部补丁重现先验以及通道交互来生成特定于恢复的特征表示。大量实验证明了我们方法的优越性，例如，使用类似的计算成本但具有全局感受野，
2024-02-29 07:17:11
1677
原创 YOLO-NAS | YOLO新高度，引入NAS，出于YOLOv8而优于YOLOv8
受启发于YOLOv6、YOLOv7以及YOLOv8，DECI的研究人员采用AutoNAC搜索比YOLOv8更优的架构，即"We used machine learning to find a new deep learning architecture!为什么要用AutoNAC呢？这是因为手工寻找"正确"结构过于低效且乏味，因此DECI的研究人员采用AutoNAC搜索新的目标检测模型，同时最小化在NVIDIA T4上的推理延迟。为构建YOLO-NAS，作者构建了一个深不可测的搜索空间(1014。
2024-02-27 12:32:14
869
原创 EfficientSAM | 借助MIM机制，MetaAI让SAM更高效！
本文介绍了一种名为EfficientSAM的模型，该模型通过利用遮罩图像预训练来提高图像分割的性能。作者使用了一个名为SAMI的方法，通过将SAM图像编码器的特征作为重建目标，从SAM图像编码器中重建特征，从而实现遮罩图像预训练。作者还使用SAMI预训练的轻量级图像编码器构建了EfficientSAM模型，并在SA-1B数据集上进行了验证。实验结果表明，EfficientSAM模型在图像分类、目标检测、实例分割和语义分割等任务中均取得了比其他预训练方法更好的性能。
2024-02-27 12:30:56
407
原创 DiffiT | 英伟达提出用于图像生成的扩散ViT架构DiffiT，达成新SOTA！
本文首发于，欢迎关注。扩散模型以其强大的表达能力和高样本质量在许多领域得到了新的应用。对于样本生成，这些模型依赖于通过迭代去噪生成图像的去噪神经网络。然而，，大多数工作都依赖于卷积残差U-Nets。。本文提出一种新模型，称为扩散视觉transformer (DiffiT)，由一个具有U形编码器和解码器的混合分层架构组成。本文提出。此外，本文还提出了LatentDiffiT，由transformer模型和所提出的自注意力层组成，用于高分辨率图像生成。结果表明，。在潜空间中，。
2024-02-27 12:29:13
744
原创 SAM轻量化的终点竟然是RepViT + SAM
本文首发：AIWalker，欢迎关注~~殊途同归！，移动端速度可达38.7fps。对于 2023 年的计算机视觉领域来说，「分割一切」（Segment Anything Model）是备受关注的一项研究进展。尽管SAM具有各种优势，但速度慢是其不得不提的一个缺点，端侧根本就跑不动。。就在今日，arXiv上同时公开两篇SAM轻量化的方法，更巧合的是两者采用了；。在AIWalker后台回复【】即可下载原文与中文译文该方案延续了。
2024-02-25 11:14:28
669
原创 端侧显著性检测新高度，OPPO提出面向真实场景的PSUNet
在高分辨率场景下，。它们受到用于高分辨率图像的公共数据集和高效网络模块的质量的限制。为了缓解这些问题，我们。考虑到移动部署框架的高效推理，。在高分辨率基准数据集上，。客观评价结果优于U2Net，后者的参数值是我们网络的10倍。。在主观评价上，评价结果优于行业基准IOS16(背景式提标)。
2024-02-25 11:13:33
285
1
原创 375FPS! 谷歌提出MaskConver“重校正用于全景分割的纯卷积模型
近年来，基于Transformer的模型由于其强大的建模能力以及对语义类和实例类的统一表示为全局二值掩码，在全景分割中占据主导地位。在本文中，。在这种程度上，它创建了一个轻量级类嵌入模块，当多个中心共存于同一位置时，可以打破这种联系。此外，我们的研究表明，。我们介绍了一个功能强大的，它缩小了卷积和基于Transfoormer模型之间的性能差距。
2024-02-25 11:12:25
852
原创 YOLOv8重磅升级！新增旋转目标检测功能
YOLOv8重磅升级！新增旋转目标检测功能，基于DOTA数据集，支持15个类别目标航拍图像检测，模型&代码均已开源~
2024-02-25 11:11:35
543
原创 通用检测大模型 | 华科白翔团队提出以对象为中心的基础模型GLEE
本文首发:AIWalker后台回复【】即可下载原文与译文。。具体来说，。通过对来自不同基准的500多万张图像进行广泛的训练，GLEE表现出显着的多功能性和改进的泛化性能，有效地处理下游任务，而不需要特定于任务的适应。通过集成大量的自动标注数据，我们进一步增强了其零炮概化能力。此外，。我们希望，我们的方法的可靠性和普遍性将标志着一个重要的一步，有效的视觉基础模型的AGI系统的发展。模型和代码将在/上发布。
2024-02-25 10:28:31
748
原创 图像处理新框架 | 语义与复原指令双引擎，谷歌研究院提出文本驱动图像处理框架TIP
基于文本到图像扩散模型的空前成功，文本引导图像修复的最新进展已经可以生成非常逼真和视觉上合理的结果。 然而，当前的文本到图像修复模型仍有很大的改进潜力，特别是在更好地将修复区域与用户提示对齐以及执行高分辨率修复。在本文中，我们介绍了HD-Painter，这是一种完全无需训练的方法，可以准确地遵循提示并连贯地缩放到高分辨率图像修复。我们的实验表明，HD-Painter在质量和数量上都超过了现有的最先进的方法，实现了令人印象深刻的61.4%对51.9%的生成精度提高。所提出方案由两个阶段组成：如上表所示，我们的
2024-02-25 10:27:17
735
原创 MiOIR | 直面 “多合一”图像复原，港理工张磊团队提出MiOIR，融顺序学习与提示学习于一体！
本文首发:尽管单任务图像复原已取得了极大成功，但单模型处理多复原任务仍极具挑战。本文对研究结果表明，采用所提的顺序学习和提示学习策略可以显著提高CNN和Transformer模型在多合一复原任务上的性能。此外，这两种学习策略还能够相互促进，增强模型的鲁棒性。
2024-02-25 10:24:38
734
原创 DCNv4来袭，更快收敛、更高速度、更高性能！
本文首发于本文介绍了一种高效和有效的算子DCNv 4，它是专为广泛的视觉应用而设计的。与其前身DCNv 3相比，DCNv 4有两个关键增强功能：(1)；(2)。这些改进显著加快了收敛速度，并大幅提高了处理速度，。在各种任务中，包括图像分类、实例和语义分割，特别是图像生成中，DCNv 4表现出卓越的性能。当集成到潜在扩散模型中的U-Net等生成模型中时，DCNv 4的性能优于其基线，强调了其增强生成模型的潜力。在实际应用中，。
2024-02-25 10:23:09
1313
3
原创 语义分割新SOTA：80.5mIoU+62.8FPS! 华科与美团联合提出单分支推理分割架构SCTNet，已开源！
本文首发于最新的实时语义分割方法通常。然而，。为了消除这一困境，。SCTNet在保留轻量级单分支CNN高效性的同时，还拥有语义分支的丰富语义表示。考虑到transformer提取长距离上下文的卓越能力，SCTNet将transformer作为仅用于训练的语义分支。。在推理过程中，只需要部署单分支CNN。我们在Cityscapes,ADE20K和COCO-Stuff-10K上进行了广泛的实验，结果表明，我们的方法达到了新的最先进水平。
2024-02-25 10:17:08
975
原创 ICLR2024 | 东北大学提出用于移动端的高效调制方案EfficientMod，即将开源！
从上述简介可以看到：VAN与FocalNet有一定的相通之处。
2024-02-25 10:14:20
868
原创 U版YOLO-World来了，YOLOv8再度升级，三行代码上手YOLO-World！
欢迎关注AIWalker，近距离接触底层视觉与基础AI。
2024-02-25 10:08:16
1893
4
原创 Swin版VMamba来了！精度再度提升，VMamba-S达成83.5%，超越Swin-S，已开源！
就在昨日，华科王兴刚团队公开了Mamba在ViT的入局Vim，取得了更高精度、更快速度、更低显存占用。就在纳闷Swin版的VMamba啥时候出来之时，UCAS、华为以及鹏城实验室联合提出了Swin版本的VMamba，不出之外的取得了更高的精度，，不过这在意料之中，Swin-S也比DeiT-S高3%左右，不得不为Vim早一天公开感到庆幸，本文受到最近提出的状态空间模型的启发，。为了解决方向敏感的问题，我们。
2024-01-19 23:12:02
727
原创 入局CV，Mamba再显神威！华科王兴刚团队首次将Mamba引入ViT，更高精度、更快速度、更低显存！
本文首发:在Transformer如日中天时，一个称之为“Mamba”的架构横冲出世，在语言建模上与Transformers不相上下，具有线性复杂度，同时具有！一时之间，被给予厚望“下一代架构”~就在今日，华中科技大学王兴刚团队首次将“Mamda”里面引入到CV领域而得到Vim公开了，，神了，估计后续会出现各种变种，DeiM、PvM，哈哈~最近，具有高效硬件感知设计的状态空间模型(State Space Models, SSM)曼巴，已显示出在长序列建模方面的巨大潜力。虽然。但是，由于。
2024-01-19 23:10:55
1093
原创 NanoSAM
SAM是一个神奇的模型，可以从输入提示（例如点或框）中生成高质量的对象掩码，用于从图像中剪裁出感兴趣的对象，而无需繁琐的手工工作。这个示例更高级，它使用OWL-ViT来检测图像中的物体，而OWL-ViT是一个超酷的东西，它可以通过文本提示来识别物体。总之，nanoSAM是一个超级酷的技术，可以用在各种有趣的场景中，无论是图像分割、物体检测还是人体姿势分析，都能派上用场。MobileSAM的训练过程中，我们将从原始的SAM中提取出ViT-H图像编码器的知识，并传递给一个轻量级的图像编码器。
2023-12-12 21:29:01
908
原创 DiffiT
关于TMSA，在每一层，我们的transformer块接收{xs}，一组标记在其输入中空间上排列在2D网格上。架构的最后一层是一个简单的线性层，用于对输出进行解码。编码器或解码器路径的每个分辨率由L连续的DiffiT块组成，其中包含所提出的时间依赖的自注意力模块。此外，本文还提出了LatentDiffiT，由transformer模型和所提出的自注意力层组成，用于高分辨率图像生成。key、query和value都是时间和空间token的线性函数，它们可以针对不同的时间步长自适应地修改注意力的行为。
2023-12-10 21:54:58
963
原创 NTIRE2023-RTSR-Track2 冠军方案详解
此外，由于模型比较小，选择相当小的训练数据(如DIV2K)是可行的，也不会影响验证精度。此外，为验证所提训练方案的有效性，作者还对比了A->G, E->H, A->F->I, A->E->H->J等不同优化路线。在某种意义上讲，更低分辨率的特征提取可以认为是一种在空间上数据压缩方式，由于它与上采样协同训练，故该压缩是可逆的。需要注意的是：为了得到最终的模型，作者以非最优通道数(34)模型开始，然后采用全局剪枝得到通道数为32的模型。在网络结构方面，我们期望采用了最优的通道数以最大化模型推理速度。
2023-09-16 19:15:54
245
原创 YOLO-NAS | YOLO新高度，引入NAS，出于YOLOv8而优于YOLOv8
当转换为INT8量化模型后，YOLO-NAS具有更少的精度损失(L-M-S的损失分别为0.45,0.65,0.51mAP)。最后，附上YOLO-NAS的网络结构示意图，这里仅给出了YOLO-NAS-S的示意图，另外两个跟这个整体类似，区别在于Block改为了YOLOv7的ELAN且通道数更多。最终，作者从中三样三个"前沿观察点"构建了YOLO-NAS-S，YOLO-NAS-M，YOLO-NAS-L。进行模型量化，既考虑了每一层对精度与延迟的影响，也考虑了8-bit与16-bit之间切换对整体延迟的影响；
2023-09-08 21:03:26
308
原创 AsConvSR
前段时间，NTIRE2023各个竞赛落下帷幕，近期各个冠亚军方案提出者也在逐步公开方案细节。上图为所提方案与近年来轻量化网络的统计信息对比，重建效果对比。总体来说，AsConvSR在竞赛指标方面确实存在非常明显的优势。链接 | https://mp.weixin.qq.com/s/p9u6RYkd37MmN12rUCMCuQ。由于竞赛同时关注PSNR与推理耗时（计算方式如下），所以网络结构的设计尤其要关注下耗时因素的影响。上表给出了竞赛前五方案的指标信息对比，所提方案优势还是挺明显的，^_^
2023-09-08 17:22:41
286
原创 CVPR2023 RIFormer, 无需TokenMixer也能达成SOTA性能的极简ViT架构
接下来，我们将呈现出从全监督到更先进训练体系的探索之路，调研并指定了不同的优化机制。对比GFNet与RIFormer，GFNet-H-B吞吐量为939，精度为82.9%，但需要特殊的、硬件不友好的FFT操作；最后，作者还尝试了直接加载老师模型中除TokenMixer之外的预训练参数到学生模型，学生模型的性能可以**从75.13%提升至75.36%**。可能这与感受野有关，的模块出发，逐步添加不同的操作单元，如LN、Attention、MLP等，最终构成了无GAP与分类头的ViT-Base架构。
2023-09-08 17:11:49
804
YOLOv9-gelan-onnx
2024-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人