TPAMI 2024 | 面向开放词汇表的语义分割的边侧适配器网络

最新推荐文章于 2024-10-16 20:06:40 发布
最新推荐文章于 2024-10-16 20:06:40 发布
阅读量58 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： 计算机视觉 目标检测 深度学习 顶刊论文 论文解读 TPAMI IEEE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/141611213
版权

题目：SAN: Side Adapter Network for Open-Vocabulary Semantic Segmentation

面向开放词汇表的语义分割的边侧适配器网络

作者：Mengde Xu; Zheng Zhang; Fangyun Wei; Han Hu; Xiang Bai

源码链接： https://github.com/MendelXu/SAN

摘要

本文专注于开放词汇语义分割（Open-Vocabulary Semantic Segmentation, OVSS），目标是构建一个能够识别图像中任意类别的模型。为实现此目标，我们提出了一种新颖的框架，称为边适配网络（Side Adapter Network, SAN）。我们的设计原则有三个方面：1）最近的大规模视觉-语言模型（例如CLIP）展现出了有前景的开放词汇图像分类能力；通过适配预训练的CLIP模型至开放词汇语义分割是训练效率的优化。2）我们的SAN模型应该既轻量又有效，以降低推理成本——为实现这一点，我们融合了CLIP模型的中间特征来增强SAN模型

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
专栏目录
订阅专栏
TPAMI 2024 | 跨图像像素对比的语义分割方法
小白学视觉
09-04 548
本文研究了图像语义分割问题。现有方法主要关注于挖掘“局部”上下文，即通过特别设计上下文聚合模块（例如，扩张卷积、神经注意力）或结构感知优化目标（例如，IoU损失）在单个图像内部像素之间的依赖关系。然而，它们忽略了训练数据的“全局”上下文，即不同图像中像素之间丰富的语义关系。受到无监督对比表示学习最新进展的启发，我们提出了一种像素级对比算法，称为PiCo，用于完全监督学习环境中的语义分割。核心思想是强制同一语义类别的像素嵌入比不同类别的嵌入更相似。
TPAMI 2024 | 正则化损失与超参数估计在弱监督单类分割中的应用
小白学视觉
07-18 1050
Regularized Loss With Hyperparameter Estimation for Weakly Supervised Single Class Segmentation 正则化损失与超参数估计在弱监督单类分割中的应用 作者：Zongliang Ji; Olga Veksler 摘要 我们提出了一种新的图像级弱监督分割方法，适用于只含有单一感兴趣对象类别的数据集。我们的方法基于经典条件随机场（CRF）建模启发的正则化损失函数。我们的损失模型了通用对象的属性，并用它引导CNN朝向更可能对
ZSSeg: A Simple Baseline for Open-Vocabulary Semantic Segmentation with Pre-trained Vision-language
renwu
05-14 595
最近，通过视觉语言预训练进行的开放词汇图像分类取得了令人难以置信的成就，该模型可以对任意类别进行分类，而无需看到该类别的附加注释图像。然而，目前尚不清楚如何使开放式词汇识别在更广泛的视觉问题上发挥作用。本文以开放式词汇语义分割为目标，将其建立在现成的预先训练的视觉语言模型（即CLIP）上。然而，语义分割和CLIP模型在不同的视觉粒度上执行，即语义分割在像素上执行，而CLIP在图像上执行。
顶刊TPAMI 2024！无需全标注，仅用少量涂鸦标注即可获得确定和一致的语义分割预测结果...
Paper weekly
08-01 659
本文介绍了山东大学，北京大学和纽约州立大学石溪分校合作开展的一项工作。该工作面向图像涂鸦弱标注语义分割任务，重点关注采用涂鸦弱标注时语义分割网络的不确定性和不一致性问题。作者提出最小化熵损失函数和网络嵌入的随机游走过程来分别改善分割网络特征嵌入的不确定性和不均匀性。作者还引入本征空间上的自监督学习对图像的显著区域施加一致性损失，用于缓解不同场景下同一类别的特征不一致问题。最后，作者提出伪标注重训练...
CVPR 2023 | SAN: Side Adapter Network for Open-Vocabulary Semantic Segmentation
画心
06-30 2393
基于CLIP构建开放词汇语义分割模型。
【开放词汇分割】Side Adapter Network for Open-Vocabulary Semantic Segmentation
cjy_colorful0806的博客
07-01 784
Side Adapter Network (SAN) 是一个端到端的框架，旨在充分利用CLIP模型在开放词汇语义分割中的能力。SAN由一个轻量级的视觉Transformer实现，可以利用CLIP的特征，并且有两个输出：掩码提案和用于掩码识别的注意力偏差。这些注意力偏差应用于CLIP的自注意力机制，以识别掩码提案的类别。在实践中，将浅层 CLIP 层的特征融合到 SAN 中，并将注意力偏差应用于更深的 CLIP 层以进行识别。通过这种单前向设计，可以最大限度地降低 CLIP 模型的成本。SAN的详细架构。
（CVPR，2023）SAN：用于开放词汇语义分割的边缘适配网络
lalula的博客
04-17 1625
本文提出了一种新的开放词汇语义分割框架，名为边缘适配器网络（SAN）。我们的方法将语义分割任务建模为区域识别问题。一个边缘网络附加到一个冻结的CLIP模型上，具有两个分支：一个用于预测掩模提案，另一个用于预测注意偏差，该偏差应用于CLIP模型中以识别掩模的类别。这种解耦的设计使得CLIP在识别掩模提案的类别时受益良多。由于附加的边缘网络可以重用CLIP特征，因此可以非常轻量级。此外，整个网络可以进行端到端的训练，允许边缘网络适应冻结的CLIP模型，从而使得预测的掩模提案具有CLIP感知能力。
TPAMI 2024 | Box2Mask: 基于包围盒的实例分割算法
小白学视觉
08-19 433
与使用像素级掩码标签的全监督方法不同，基于包围盒注释的实例分割利用简单的框注释，最近吸引了越来越多的研究关注。本文提出了一种新颖的单次实例分割方法，即Box2Mask，它将经典水平集演化模型整合到深度神经网络学习中，仅使用包围盒监督就能实现精确的掩码预测。具体来说，输入图像及其深度特征被用来隐式地演化水平集曲线，并且使用基于像素亲和核的局部一致性模块来挖掘局部上下文和空间关系。
TPAMI 2024 | 面向查询的微视频总结
小白学视觉
07-19 139
题目：Query-Oriented Micro-Video Summarization 面向查询的微视频总结 作者：M. Jia; Y. Wei; X. Song; T. Sun; M. Zhang; L. Nie 摘要 面向查询的微视频摘要任务旨在生成一个简洁的句子，具有以下两个属性：(a) 总结微视频的主要语义；(b) 以搜索查询的形式表达，以便于检索。尽管在检索领域具有巨大的应用价值，但这个方向几乎没有被探索过。之前的摘要研究主要集中在传统长视频的内容摘要。直接应用这些研究由于微视频和查询的独特特征
【研0日记】23.12.07
m0_56654371的博客
12-07 190
完了还看了一篇这个《Open_Vocabulary_Semantic_Segmentation_With_Patch_Aligned_Contrastive_Learning》，这篇之前看了好几遍，没看下去hhh，感觉跟别的没啥区别，事实也确实比较简单，但没有之前想的那么烂。
AI~N篇论文1
whaosoft143ai的博客
03-29 1454
N 篇论文分方向整理｜检测、分割、人脸、视频处理、医学影像、神经网络结构、小样本学习等方向- 检测- 分割- 视频处理- 估计- 人脸- 目标跟踪- 图像&视频检索/视频理解- 医学影像- GAN/生成式/对抗式- 图像生成/图像合成- 神经网络结构设计- 数据处理- 模型训练/泛化- 图像特征提取与匹配- 视觉表征学习- 模型评估- 多模态学习- 视觉预测- 数据集- 小样本学习/零样本学习- 持续学习。 whaosoft aiot http://143ai.com
CVPR2023 Highlight | Side Adapter Network – 极致轻薄却性能强劲的开放词汇语义分割器...
我爱计算机视觉
04-21 511
关注公众号，发现CV技术之美要点：仅需要8M额外的训练参数，就可以利用冻结的CLIP模型实现15帧每秒的开放词汇语义分割，同时性能相较STOA大幅度提升。Paper Link: https://arxiv.org/pdf/2302.12242Project Page: https://mendelxu.github.io/SANHugging Face: Hugging Face – The A...
【计算机视觉 | 目标检测】OVSeg：Open-Vocabulary Semantic Segmentation with Mask-adapted CLIP论文讲解
wzk4869的博客
04-22 2921
【计算机视觉 | 目标检测】OVSeg：Open-Vocabulary Semantic Segmentation with Mask-adapted CLIP论文讲解
利用车载摄像头了解道路语义的鸟瞰图
计算机视觉life
12-01 1267
以下内容来自从零开始机器人SLAM知识星球 每日更新内容 点击领取学习资料 → 机器人SLAM学习资料大礼包 #论文##开源代码# Understanding Bird's-Eye View of Road Semantics using an Onboard Camera 论文地址：https://arxiv.org/abs/2012.03040 作者单位：苏黎世ETH计算机视觉实验室 开源代码：https://github.com/ybarancan/BEV_feat_stitch 自主导航
CVPR 2019之语义分割： Adaptive Pyramid Context Network for Semantic Segmentation
makabaka的博客
10-10 1590
Adaptive Pyramid Context Network for Semantic Segmentation 简述： 当前，基于语境的分词方法在如何构建语境结构以及在实践中不同的表现上存在着一定的差异，特别的是，发现全局导向的局部亲和力(GLA)在构建有效的语境特征中至关重要。本文介绍了一种基于自适应金字塔上下文网络（Adaptive Pyramid Context Network）的语义...
【AI前沿】计算机视觉的10个突破性进展:实际应用、挑战与方向
阿旭的博客
10-15 1400
【AI前沿】计算机视觉的10个突破性进展:实际应用、挑战与方向
霍夫圆型硬币检测Matlab程序
最新发布
weixin_31268759的博客
10-16 515
为了精确检测图像中的圆形物体，本文采用了一系列图像处理技术，包括灰度转换、中值滤波、形态学操作、边缘检测和霍夫变换。这些方法结合起来，可以有效去除噪声、增强图像特征，并从复杂背景中提取出感兴趣的目标。
目标检测——Libra R-CNN算法解读
lishanlu136的博客
10-15 1183
目标检测Libra R-CNN算法解读
ssim loss 语义分割
07-27
SSIM损失是结构相似性损失的缩写，它在语义分割中被广泛使用。SSIM损失是一种用于衡量生成的图像与原始图像之间结构相似性的指标。它通过比较图像的亮度、对比度和结构来评估它们之间的相似性。SSIM损失可以确保生成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值