2024！又强又优秀的域泛化语义分割网络：Stronger, Fewer, & Superior-Rein

最新推荐文章于 2025-04-14 00:10:30 发布
最新推荐文章于 2025-04-14 00:10:30 发布
阅读量6.8k 收藏 63
点赞数 29
文章标签： python 深度学习 计算机视觉 图像处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43719444/article/details/136910730
版权
中国科技大学和上海人工智能实验室的研究团队提出Rein方法，有效利用预训练的视觉基础模型在领域泛化语义分割中展现出卓越性能。通过减少可训练参数和增强注意力机制，Rein在保持高性能的同时提高了模型的泛化性和训练效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这篇文章的标题是 "Stronger, Fewer, & Superior: Harnessing Vision Foundation Models for Domain Generalized Semantic Segmentation"，作者是来自中国科学技术大学和上海人工智能实验室的研究团队。文章的核心贡献在于提出了一种新的微调方法，名为“Rein”，用于在领域泛化语义分割（DGSS）任务中高效地利用视觉基础模型（VFMs）。

背景与动机： 领域泛化语义分割（DGSS）的目标是训练模型在多个不同的领域（例如，从合成图像到真实世界图像）上都能表现良好，而不需要访问目标领域的数据。这项任务对于实际应用（如自动驾驶）非常重要，因为模型需要能够处理各种不同的场景和条件。VFMs是一类在多种计算机视觉任务中表现出色的预训练模型，它们通过在大规模数据集上进行自监督或半监督预训练来学习强大的视觉表示。

论文链接：Search | arXiv e-print repository

 代码链接：GitHub - w1oves/Rein: [CVPR 2024] Official implement of <Harnessing Vision Foundation Models for Domain Generalized Semantic Segmentation>

主要贡献：

  1. 评估VFMs在DGSS中的表现：文章首先评估了多种VFMs在DGSS任务中的表现，包括CLIP、MAE、SAM、EVA02和DINOv2。通过与现有的DGSS方法进行比较，作者发现即使在不进行微调的情况下&#

最低0.47元/天 解锁文章
DR.SUI_BK
关注
更强、更少、更优越的域泛化语义分割——“Rein”-DGSS论文解读
985小水博的摸鱼日常
09-10 1350
Stronger, Fewer, & Superior: Harnessing Vision Foundation Models
强大、简洁、优越：以视觉基础模型赋能领域泛化语义分割
gitblog_00046的博客
06-07 695
强大、简洁、优越：以视觉基础模型赋能领域泛化语义分割 ReinOfficial implement of 项目地址:https://gitcode.com/gh_mirrors/re/Rein 在这个快速发展的计算机视觉领域，我们常常面对的一个挑战是如何让模型在未见过的环境或数据集上保持稳定且出色的性能。为此，我们高兴地向您推荐一个最新的开源项目——[CVPR 2024] Stronger, F...
Mask-grounded Network (MagNet)
whaosoft143ai的博客
04-26 644
在作者的实现中，CAM 被加到图像和语言编码器的每个阶段末尾。针对这些问题，清华大学和博世中央研究院的研究人员提出了一种新的方法，名为 MagNet，通过引入辅助任务 Mask Grounding、跨模态对齐模块和跨模态对齐损失函数，全面提升了语言和图像之间的对齐效果。除此之外，他们还提出了一个新颖的跨模态对齐模块（Cross-modal Alignment Module）和一个新颖的跨模态对齐损失函数 (Cross-modal Alignment Loss)，来进一步全面缩小语言和图像之间的模态差距。
语义分割（Semantic Segmentation）【截至2025年4月】
最新发布
u013250861的博客
04-14 1738
（Semantic Segmentation）是计算机视觉中的核心任务，旨在为图像中的每个像素分配一个语义类别标签，实现像素级别的语义理解。
（CVPR，2024）CAT-Seg：基于成本聚合的开放词汇语义分割
lalula的博客
04-17 3277
开放词汇的语义分割面临着根据各种文本描述对图像中的每个像素进行标记的挑战。在这项工作中，我们引入了一种新颖的基于成本的方法，以适应视觉语言基础模型，特别是CLIP，用于复杂的语义分割任务。通过聚合余弦相似度分数，即图像和文本嵌入之间的成本体积，我们的方法通过微调其编码器，强大地适应了CLIP以对已见和未见类进行分割，解决了现有方法在处理未见类时面临的挑战。在此基础上，我们探讨了有效聚合成本体积的方法，考虑到它在图像和文本嵌入之间建立的多模态特性。此外，我们还研究了有效微调CLIP的各种方法。
【领域泛化论文阅读】Semantic-Aware Domain Generalized Segmentation
weixin_43877335的博客
04-16 4024
关于图像白化和色彩变换的基本内容可以参考： 图像标准化、图像白化、色彩变换_S L N的博客-CSDN博客 论文是针对语义分割的领域泛化模型。论文提出了SAN和SAW两个模块来增强类别之间的分离，类内的聚合。SAN是针对类别级的特征对齐，SAW是对SAN对齐后的特征进行分布式对齐。 .........
CVPR2024：Stronger, Fewer, & Superior: Harnessing Vision Foundation Modelsfor Domain Generalized 。。。
tttoff的博客
05-07 1948
在本文中，我们首先评估和利用领域背景下的各种视觉基础模型(VFMs)广义语义分割(DGSS)。在利用更强的预训练模型的动机以及更少的可训练参数以获得更高的泛化能力，我们引入了一种鲁棒微调方法，即“Rein”，参数有效地利用VFMs用于DGSS。建立在一组可训练的Token，每个连接到不同的实例中，Rein精确地细化和转发该特性在主干内从每一层映射到下一层。此过程在单个图像中为不同的类别生成不同的细化。通过更少的可训练参数，Rein有效地微调DGSS任务的VFMs，出人意料地超越了全参数微调。
CVPR 2022 Oral | 即插即用！语义感知的域泛化语义分割模型：SAN-SAW
阿木寺的博客
05-01 5456
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：阿柴的算法学习日记本文分别基于Instance Normalization (IN)与Instance Whitening (IW) 提出了两个用于编码器与解码器之间的即插即用模块：Semantic-Aware Normalization (SAN)与Semantic-Aware Whiten...
Adversarial Semantic Hallucination for Domain Generalized Semantic Segmentation
weixin_36670529的博客
03-10 1570
获取车牌轮廓上的点集后，可用cv2.minAreaRect()获取点集的最小外接矩形。返回值rect内包含该矩形的中心点坐标、高度宽度及倾斜角度等信息，使用cv2.boxPoints()可获取该矩形的四个顶点坐标。 # 获取最小外接矩阵，中心点坐标，宽高，旋转角度 rect = cv2.minAreaRect(points) # 获取矩形四个顶点，浮点型 box = cv2.boxPoints(rect) # 取整 box = np.int0(box) 但我们并不清楚这四个坐标点各对应着...
java入门视频教程，2024年互联网大厂Java笔经
m0_60607371的博客
03-02 921
可想而知，有限数量的商品在同一时刻被很多倍的请求同时来减库存，减库存又分为“拍下减库存”“付款减库存”以及预扣等几种，在大并发更新的过程中都要保证数据的准确性，其难度可想而知。虽然介绍了很多极致的优化思路，但现实中总难免出现一些我们考虑不到的情况，所以要保证系统的高可用和正确性，还要设计一个PlanB来兜底，以便在最坏情况发生时仍然能够从容应对。篇幅有限，无法一个模块一个模块详细的展示（这些要点都收集在了这份《高并发秒杀顶级教程》里），麻烦各位转发一下（可以帮助更多的人看到哟！
【论文精读】基于协方差对齐和语义一致性对比学习的风格蒙蔽语义分割域泛化（Style Blind Domain Generalized Semantic Segmentation）
Zachary的博客
07-25 2364
🔥🔥🔥用于语义分割的深度学习模型在部署到未知的目标域时，通常会遇到性能下降。这主要是由于不同数据域的图像纹理（即风格）存在差异。为了应对这一挑战，现有的语义分割域泛化 (Domain Generalized Semantic Segmentation，DGSS) 方法试图从特征中删除样式信息。然而，这些方法难以有效对风格和语义进行解耦，可能会导致删除关键语义信息，从而导致性能下降。🚀🚀🚀本研究通过提出 BlindNet 解决了这一局限性，在没有外部模块或数据集的情况下蒙蔽样式信息。
Stronger, Fewer, & Superior: Harnessing Vision Foundation Models for Domain Generalized Semantic Seg
yokon的博客
03-14 1871
利用更强的预训练模型和更少的可训练参数来获得更好的泛化性，我们引入了一种鲁棒微调方法，即“Rein”，以参数有效地利用DGSS的VFMs。因此，Rein增强了VFMs在DGSS任务中的能力，在保留预训练知识的同时，使用更少的可训练参数实现了这一目标。，是阿里云出品的一款基于通义大模型的智能编码辅助工具，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等能力，并针对阿里云的云服务使用场景调优，助力开发者高效、流畅的编码。
【AAAI2024】SCTNet：具有Transformer语义信息的单分支CNN用于实时分割
m0_52597077的博客
10-30 2509
最近的实时语义分割方法通常采用额外的语义分支来获取丰富的长距离上下文信息。然而，这一额外的分支会带来不必要的计算开销，并降低推理速度。为了消除这一困境，我们提出了SCTNet，一种单分支CNN结合变压器语义信息的实时分割网络。SCTNet在保持轻量级单分支CNN高效性的同时，享有无需推理的语义分支的丰富语义表示能力。SCTNet在训练时使用变压器作为仅训练的语义分支，利用其卓越的长距离上下文提取能力。
2024最新controlnet详解：Segmentation语义分割的使用方法
Yu91an的博客
06-29 3770
本文提供一个全面的教程，指导用户如何在Stable Diffusion（SD）中利用【controlNet】Segmentation功能进行AI绘图的语义分割。文章通过实际操作示例和详细步骤，展示了如何通过语义分割来精细化调整图像的细节，增强AIGC创作的灵活性和创意表现力。segmentation简称SEG，SEG可以让你的构图更加可控，并且在结合multi control net以及latent couple等功能后更强大。
【TIP2024】HAFormer: Unleashing the Power of Hierarchy-Aware Features for Lightweight Semantic Segment
qq_40734883的博客
08-18 1858
文中引入了HAFormer模型，该模型结合了CNN层次化特征提取能力与Transformer全局依赖建模能力，以应对轻量级语义分割的挑战。具体来说，设计了一个层次感知像素激励（HAPE）模块，用于自适应的多尺度局部特征提取。在全局感知建模过程中，设计了一个高效的Transformer （ET）模块，简化了传统Transformer中的二次计算。此外，还设计了一个相关加权融合（cwF）模块，该模块能够选择性地融合不同的特征表征，显著提高了预测精度。
（2024，sViT，语义分割，SAM，可解释性）具有自然语言语义的 ViT
qq_44681809的博客
03-05 1796
本文提出 sViT，它利用分割模型 SAM，有效地利用语义信息， 创建了类似于 CNN 的归纳偏差，同时捕获了图像中的全局依赖性和上下文信息。
（CVPR，2024）SED：一个用于开放词汇语义分割的简单编解码器
lalula的博客
04-21 3508
开放词汇语义分割旨在将像素从一个开放的类别集合中划分为不同的语义组。大多数现有方法利用预训练的视觉-语言模型，其中关键是采用图像级模型进行像素级分割任务。在本文中，我们提出了一种名为SED的简单编码器-解码器，用于开放词汇语义分割，它包括基于层次编码器的代价图生成和具有类别早期拒绝的逐渐融合解码器。基于层次编码器的代价图生成采用层次骨干网络，而不是简单的Transformer，来预测像素级图像-文本代价图。与简单的Transformer相比，层次骨干网络更好地捕捉局部空间信息。
CVPR2022 - 泛化的小样本语义分割
点亮创新之光，照亮科研梦想
01-13 2467
语义分割模型的训练需要大量精细标注的数据，很难快速适应不满足这一条件的新类。小样本分割(FS-Seg)通过许多约束来解决这个问题。在本文中，我们引入了一种新的基准，称为泛化的小样本语义分割(GFSSeg)，以分析同时分割具有很少示例的新类别和具有足够示例的基本类别的泛化能力。这是首次研究表明，以往最先进的代表性FS-Seg方法在GFS-Seg中存在不足，其性能差异主要来自FS-Seg的约束设置。为了使GFS-Seg易于处理，
TPAMI 2024 | 用于点云分割领域适应的组合语义混合
小白学视觉
10-16 337
当在不同的传感器或不同环境中捕获的数据上进行训练和测试时，3D点云语义分割的深度学习模型表现出有限的泛化能力，这是由于域偏移造成的。可以采用域适应方法来减轻这种域偏移，例如通过模拟传感器噪声、开发域不可知生成器或训练点云完成网络。通常，这些方法针对范围视图图或需要多模态输入。相比之下，通过样本混合在图像域中执行域适应，这强调了输入数据的操作而不是采用不同的适应模块。在本研究中，我们介绍了点云域适应的组合语义混合，这是第一个基于语义和几何样本混合的点云分割的无监督域适应技术。
语义分割最新网络2024demo
01-22
### 最新的语义分割网络模型演示 对于2024年的最新语义分割网络模型演示，可以考虑基于ROS 2平台的Isaac ROS Unet包作为示例。此软件包提供了强大的语义分割功能，并支持多种配置选项来适应不同的应用场景。 要启动该演示，需运行特定的launch文件以初始化所需的参数设置： ```bash ros2 launch isaac_ros_unet isaac_ros_unet_triton.launch.py \ model_name:=peoplesemsegnet_shuffleseg \ model_repository_paths:=[&#39;/tmp/models&#39;] \ input_binding_names:=[&#39;input_2:0&#39;] \ output_binding_names:=[&#39;argmax_1&#39;] \ network_output_type:=&#39;argmax&#39; \ input_image_width:=1200 \ input_image_height:=632 ``` 上述命令通过指定`isaac_ros_unet_triton.launch.py`脚本来加载预训练好的PeopleSegNet ShuffleSeg模型[^4]。此模型专为高效处理大规模图像数据而设计，在保持较高精度的同时实现了快速推理速度。 此外，为了确保最佳性能表现，建议调整输入图片尺寸至适合目标硬件的最佳分辨率；同时也可以探索其他可用模型及其对应的仓库路径，以便找到最适合具体应用需求的选择。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值