TPAMI 2024 | 面向开放词汇表的语义分割的边侧适配器网络

最新推荐文章于 2024-11-11 10:17:53 发布
最新推荐文章于 2024-11-11 10:17:53 发布
阅读量104 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： 计算机视觉 目标检测 深度学习 顶刊论文 论文解读 TPAMI IEEE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/141611213
版权
论文解读 IEEE TPAMI 专栏收录该内容
303 篇文章 21 订阅 ¥59.90 ¥99.00
订阅专栏

题目：SAN: Side Adapter Network for Open-Vocabulary Semantic Segmentation

面向开放词汇表的语义分割的边侧适配器网络

作者：Mengde Xu; Zheng Zhang; Fangyun Wei; Han Hu; Xiang Bai

源码链接： https://github.com/MendelXu/SAN

摘要

本文专注于开放词汇语义分割（Open-Vocabulary Semantic Segmentation, OVSS），目标是构建一个能够识别图像中任意类别的模型。为实现此目标，我们提出了一种新颖的框架，称为边适配网络（Side Adapter Network, SAN）。我们的设计原则有三个方面：1）最近的大规模视觉-语言模型（例如CLIP）展现出了有前景的开放词汇图像分类能力；通过适配预训练的CLIP模型至开放词汇语义分割是训练效率的优化。2）我们的SAN模型应该既轻量又有效，以降低推理成本——为实现这一点，我们融合了CLIP模型的中间特征来增强SAN模型

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
专栏目录
订阅专栏
TPAMI 2024 | 跨图像像素对比的语义分割方法
小白学视觉
09-04 623
本文研究了图像语义分割问题。现有方法主要关注于挖掘“局部”上下文，即通过特别设计上下文聚合模块（例如，扩张卷积、神经注意力）或结构感知优化目标（例如，IoU损失）在单个图像内部像素之间的依赖关系。然而，它们忽略了训练数据的“全局”上下文，即不同图像中像素之间丰富的语义关系。受到无监督对比表示学习最新进展的启发，我们提出了一种像素级对比算法，称为PiCo，用于完全监督学习环境中的语义分割。核心思想是强制同一语义类别的像素嵌入比不同类别的嵌入更相似。
ZSSeg: A Simple Baseline for Open-Vocabulary Semantic Segmentation with Pre-trained Vision-language
renwu
05-14 625
最近，通过视觉语言预训练进行的开放词汇图像分类取得了令人难以置信的成就，该模型可以对任意类别进行分类，而无需看到该类别的附加注释图像。然而，目前尚不清楚如何使开放式词汇识别在更广泛的视觉问题上发挥作用。本文以开放式词汇语义分割为目标，将其建立在现成的预先训练的视觉语言模型（即CLIP）上。然而，语义分割和CLIP模型在不同的视觉粒度上执行，即语义分割在像素上执行，而CLIP在图像上执行。
【开放词汇分割】Side Adapter Network for Open-Vocabulary Semantic Segmentation
cjy_colorful0806的博客
07-01 877
Side Adapter Network (SAN) 是一个端到端的框架，旨在充分利用CLIP模型在开放词汇语义分割中的能力。SAN由一个轻量级的视觉Transformer实现，可以利用CLIP的特征，并且有两个输出：掩码提案和用于掩码识别的注意力偏差。这些注意力偏差应用于CLIP的自注意力机制，以识别掩码提案的类别。在实践中，将浅层 CLIP 层的特征融合到 SAN 中，并将注意力偏差应用于更深的 CLIP 层以进行识别。通过这种单前向设计，可以最大限度地降低 CLIP 模型的成本。SAN的详细架构。
CVPR 2023 | SAN: Side Adapter Network for Open-Vocabulary Semantic Segmentation
画心
06-30 2477
基于CLIP构建开放词汇语义分割模型。
CVPR2023 Highlight | Side Adapter Network – 极致轻薄却性能强劲的开放词汇语义分割器...
我爱计算机视觉
04-21 528
关注公众号，发现CV技术之美要点：仅需要8M额外的训练参数，就可以利用冻结的CLIP模型实现15帧每秒的开放词汇语义分割，同时性能相较STOA大幅度提升。Paper Link: https://arxiv.org/pdf/2302.12242Project Page: https://mendelxu.github.io/SANHugging Face: Hugging Face – The A...
（CVPR，2023）SAN：用于开放词汇语义分割的边缘适配网络
lalula的博客
04-17 1747
本文提出了一种新的开放词汇语义分割框架，名为边缘适配器网络（SAN）。我们的方法将语义分割任务建模为区域识别问题。一个边缘网络附加到一个冻结的CLIP模型上，具有两个分支：一个用于预测掩模提案，另一个用于预测注意偏差，该偏差应用于CLIP模型中以识别掩模的类别。这种解耦的设计使得CLIP在识别掩模提案的类别时受益良多。由于附加的边缘网络可以重用CLIP特征，因此可以非常轻量级。此外，整个网络可以进行端到端的训练，允许边缘网络适应冻结的CLIP模型，从而使得预测的掩模提案具有CLIP感知能力。
顶刊TPAMI 2024！无需全标注，仅用少量涂鸦标注即可获得确定和一致的语义分割预测结果...
Paper weekly
08-01 788
本文介绍了山东大学，北京大学和纽约州立大学石溪分校合作开展的一项工作。该工作面向图像涂鸦弱标注语义分割任务，重点关注采用涂鸦弱标注时语义分割网络的不确定性和不一致性问题。作者提出最小化熵损失函数和网络嵌入的随机游走过程来分别改善分割网络特征嵌入的不确定性和不均匀性。作者还引入本征空间上的自监督学习对图像的显著区域施加一致性损失，用于缓解不同场景下同一类别的特征不一致问题。最后，作者提出伪标注重训练...
【研0日记】23.12.07
m0_56654371的博客
12-07 211
完了还看了一篇这个《Open_Vocabulary_Semantic_Segmentation_With_Patch_Aligned_Contrastive_Learning》，这篇之前看了好几遍，没看下去hhh，感觉跟别的没啥区别，事实也确实比较简单，但没有之前想的那么烂。
TPAMI 2024 | 正则化损失与超参数估计在弱监督单类分割中的应用
小白学视觉
07-18 1090
Regularized Loss With Hyperparameter Estimation for Weakly Supervised Single Class Segmentation 正则化损失与超参数估计在弱监督单类分割中的应用 作者：Zongliang Ji; Olga Veksler 摘要 我们提出了一种新的图像级弱监督分割方法，适用于只含有单一感兴趣对象类别的数据集。我们的方法基于经典条件随机场（CRF）建模启发的正则化损失函数。我们的损失模型了通用对象的属性，并用它引导CNN朝向更可能对
TPAMI 2024 | Box2Mask: 基于包围盒的实例分割算法
小白学视觉
08-19 467
与使用像素级掩码标签的全监督方法不同，基于包围盒注释的实例分割利用简单的框注释，最近吸引了越来越多的研究关注。本文提出了一种新颖的单次实例分割方法，即Box2Mask，它将经典水平集演化模型整合到深度神经网络学习中，仅使用包围盒监督就能实现精确的掩码预测。具体来说，输入图像及其深度特征被用来隐式地演化水平集曲线，并且使用基于像素亲和核的局部一致性模块来挖掘局部上下文和空间关系。
TPAMI 2024 | 面向部分人体再识别的属性引导协同学习
小白学视觉
10-17 49
部分人体重识别（ReID）旨在解决由于遮挡或视野外造成的图像空间错位问题。尽管通过引入额外信息（如人体姿态标志点、掩膜图和空间信息）取得了显著进展，但由于关键点噪声和行人表示的易受影响性，部分人体ReID仍然具有挑战性。为了解决这些问题，我们提出了一个统一的属性引导的协作学习方案用于部分人体ReID。具体来说，我们引入了一个自适应阈值引导的蒙版图卷积网络，它可以动态地移除不可信的边以抑制噪声关键点的扩散。
AI~N篇论文1
whaosoft143ai的博客
03-29 1475
N 篇论文分方向整理｜检测、分割、人脸、视频处理、医学影像、神经网络结构、小样本学习等方向- 检测- 分割- 视频处理- 估计- 人脸- 目标跟踪- 图像&视频检索/视频理解- 医学影像- GAN/生成式/对抗式- 图像生成/图像合成- 神经网络结构设计- 数据处理- 模型训练/泛化- 图像特征提取与匹配- 视觉表征学习- 模型评估- 多模态学习- 视觉预测- 数据集- 小样本学习/零样本学习- 持续学习。 whaosoft aiot http://143ai.com
【计算机视觉 | 目标检测】OVSeg：Open-Vocabulary Semantic Segmentation with Mask-adapted CLIP论文讲解
wzk4869的博客
04-22 3004
【计算机视觉 | 目标检测】OVSeg：Open-Vocabulary Semantic Segmentation with Mask-adapted CLIP论文讲解
利用车载摄像头了解道路语义的鸟瞰图
计算机视觉life
12-01 1274
以下内容来自从零开始机器人SLAM知识星球 每日更新内容 点击领取学习资料 → 机器人SLAM学习资料大礼包 #论文##开源代码# Understanding Bird's-Eye View of Road Semantics using an Onboard Camera 论文地址：https://arxiv.org/abs/2012.03040 作者单位：苏黎世ETH计算机视觉实验室 开源代码：https://github.com/ybarancan/BEV_feat_stitch 自主导航
CVPR 2019之语义分割： Adaptive Pyramid Context Network for Semantic Segmentation
makabaka的博客
10-10 1597
Adaptive Pyramid Context Network for Semantic Segmentation 简述： 当前，基于语境的分词方法在如何构建语境结构以及在实践中不同的表现上存在着一定的差异，特别的是，发现全局导向的局部亲和力(GLA)在构建有效的语境特征中至关重要。本文介绍了一种基于自适应金字塔上下文网络（Adaptive Pyramid Context Network）的语义...
CycleGAN算法简述
SimpleLearning
11-09 876
CycleGAN是一种图像到图像的翻译模型，旨在无配对训练数据的情况下完成跨域图像转换。传统方法需要成对的输入-输出数据，但这种配对数据的获取往往代价高昂且难以实现。CycleGAN通过使用无配对数据的训练策略，实现从一个图像域到另一个域的有效转换，使其在艺术风格迁移、季节变化和对象转换等任务中表现出色。
2024年计算机视觉与图像处理国际学术会议 (CVIP 2024)
2302_79376097的博客
11-04 1873
目录大会简介主办单位，协办单位组委会主讲嘉宾征稿主题参会方式会议议程 重要信息会议官网：iccvip.org大会时间：2024年11月15日-17日大会地点：中国 杭州 2024年计算机视觉与图像处理国际学术会议(CVIP 2024)将于2024年11月15日-17日在中国杭州举行。会议将围绕计算机视觉与图像处理等研究领域展开，为来自国内外高等院校、科学研究所、企事业单位的专家、教授、学者、工程师等提供一个分享专业经验，扩大专业网络，面对面交流新思想以及展示研究成果的国际平台，探讨本领域发展所面临的关键性挑
使用高斯差分DOG（Difference of Gaussians）检测图像中的斑点或者边缘
最新发布
qq_51570094的博客
11-11 411
高斯差分是指两个不同尺度下的高斯模糊图像之间的差值。具体而言，它通过对原始灰度图像应用两个具有不同标准差的高斯核进行卷积，得到两个模糊图像，然后计算这两个模糊图像之间的差分，从而生成高斯差分图像。
ssim loss 语义分割
07-27
SSIM损失是结构相似性损失的缩写，它在语义分割中被广泛使用。SSIM损失是一种用于衡量生成的图像与原始图像之间结构相似性的指标。它通过比较图像的亮度、对比度和结构来评估它们之间的相似性。SSIM损失可以确保生成的重新照明图像在保持原始图像结构的同时进行重照明。\[3\] 在SSIM损失中，使用了一个简化的SSIM指标和一个3×3的块滤波器。该损失函数的定义如下： Lssim = 1 - SSIM(R, I) 其中，R是重新照明图像，I是输入图像。SSIM函数用于计算两个图像之间的结构相似性指数。通过最小化SSIM损失，可以确保生成的图像能够保持原始图像的结构。\[3\] 总结起来，SSIM损失是一种用于衡量生成图像与原始图像之间结构相似性的损失函数，在语义分割中被广泛应用。它可以帮助生成的图像保持原始图像的结构特征。 #### 引用[.reference_title] - *1* [语义分割loss汇总](https://blog.csdn.net/frighting_ing/article/details/123363738)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [python工具方法 33 基于lossFusion类实现多个loss的集成](https://blog.csdn.net/a486259/article/details/125956395)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [TPAMI2021语义分割/领域自适应-Domain Adaptation Network with Image Alignment for Unsupervised ...](https://blog.csdn.net/ssshyeong/article/details/124221158)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值