【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（8 月 15 日论文合集）

一、分割|语义相关(19篇)

1.1 ICPC: Instance-Conditioned Prompting with Contrastive Learning for Semantic Segmentation

ICPC：基于实例条件提示和对比学习的语义切分

https://arxiv.org/abs/2308.07078

现代监督语义分割方法通常基于在ImageNet上预训练的监督或自监督模型进行微调。最近的工作表明，通过快速学习将知识从CLIP转移到语义分割可以实现有希望的性能。性能提升来自于利用多模态对齐的特征增强，即，视觉和文本嵌入之间的点积。然而，如何提高多模态对齐在密集的任务中更好的传输性能仍然有待探索。本文主要从提示设计和损失函数两个方面来提高视觉-文本对齐的质量，并提出了一个实例条件提示与对比学习（ICPC）框架。首先，与静态提示设计相比，我们发现，以图像内容为条件的动态提示可以更有效地利用文本编码器进行复杂密集的任务。其次，我们提出了一个对齐引导对比损失，以完善对齐的视觉和文本嵌入。我们进一步提出轻量级多尺度对齐更好的性能。在三个大规模数据集（ADE 20 K，COCO-Stuff 10 k和ADE 20 K-Full）上进行的广泛实验表明，ICPC在不同的主干上带来了一致的改进。以ResNet-50为例，ICPC在三个数据集上的mIoU分别比最先进的同类产品高出1.71%、1.05%和1.41%。

1.2 Teeth And Root Canals Segmentation Using ZXYFormer With Uncertainty Guidance And Weight Transfer

基于不确定性引导和权值转移的ZXYFormer牙、根管分割

https://arxiv.org/abs/2308.07072

本研究试图从CBCT图像中同时分割牙齿和根管，但在此过程中存在非常具有挑战性的问题。首先，临床CBCT图像数据非常大（例如，672 *688 * 688），并且使用下采样操作将丢失关于牙齿和根管的有用信息。其次，牙齿和根管在形态上有很大的不同，简单的网络很难精确识别它们。此外，在牙齿处、牙齿与根管之间存在弱边缘，这使得分割这种弱边缘非常困难。为此，我们提出了一种基于逆特征融合Transformer和不确定性估计的粗到精分割方法来解决上述具有挑战性的问题。首先，我们使用缩小的体积数据（例如，128 * 128 * 128）进行粗分割并映射到原始体积，以获得牙齿和根管的面积。然后，我们设计了一个具有反向特征融合的Transformer，它可以通过将较深的特征转换为较浅的特征来实现不同形态目标的分割效果。最后，设计辅助分支对困难区域进行计算和细化，以提高牙齿和根管弱边缘分割的性能。通过对157个临床高分辨率CBCT数据的牙齿和根管联合分割实验，验证了该方法优于现有的牙齿或根管分割方法。

1.3 A One Stop 3D Target Reconstruction and multilevel Segmentation Method

一种一站式三维目标重建和多层次分割方法

https://arxiv.org/abs/2308.06974

三维物体重建和多级分割是计算机视觉研究的基础。现有算法通常独立进行三维场景重建和目标对象分割，由于三维分割的挑战，性能不能得到充分的保证。在这里，我们提出了一个开源的一站式3D目标重建和多级分割框架（OSTRA），该框架对2D图像进行分割，跟踪图像序列中具有分割标签的多个实例，然后用多视图立体（MVS）或基于RGBD的3D重建方法重建标记的3D对象或多个部分。我们扩展对象跟踪和3D重建算法，以支持连续分割标签，以利用2D图像分割的进展，特别是分段-任何模型（SAM），它使用预先训练的神经网络，无需额外的训练新场景，3D对象分割。OSTRA支持最流行的3D对象模型，包括点云，网格和体素，并在多个3D数据集上实现了语义分割，实例分割和部分分割的高性能。在复杂结构和遮挡的场景中，它甚至优于手工分割。我们的方法开辟了一个新的途径，重建三维目标嵌入丰富的多尺度分割信息在复杂的场景。OSTRA可从https://github.com/ganlab/OSTRA获取。

1.4 Semantic-aware Network for Aerial-to-Ground Image Synthesis

用于空地图像合成的语义感知网络

https://arxiv.org/abs/2308.06945

空地图像合成是一个新兴的和具有挑战性的问题，其目的是从航空图像合成地面图像。由于空中和地面图像之间的高度不同的布局和对象表示，现有的方法通常无法将空中场景的组件转移到地面场景中。在本文中，我们提出了一个新的框架，探讨通过实施增强的结构对齐和语义意识的挑战。我们引入了一种新的语义关注功能转换模块，允许重建复杂的地理结构，通过调整空中功能的地面布局。此外，我们提出了语义感知的损失函数，利用预先训练的分割网络。该网络被强制通过分别计算不同类别的损失并平衡它们来合成跨各种类别的真实对象。大量的实验，包括与以前的方法和消融研究的比较表明，所提出的框架的有效性，定性和定量。

1.5 Dual Meta-Learning with Longitudinally Generalized Regularization for One-Shot Brain Tissue Segmentation Across the Human Lifespan

基于纵向广义正则化的双元学习人脑组织单次分割

https://arxiv.org/abs/2308.06774

脑组织分割对于神经科学和临床研究至关重要。然而，纵向数据的分割是具有挑战性的，由于整个生命周期的动态大脑变化。以往的研究主要集中在自我监督上，并在对特定年龄组进行微调时会失去纵向推广。在本文中，我们提出了一个双重元学习范式，学习纵向一致的表示和坚持微调时。具体来说，我们学习了一个即插即用的特征提取器，通过元特征学习来提取纵向一致的解剖表示，并通过元初始化学习来进行微调。此外，提出了两个类感知正则化，以鼓励纵向一致性。在iSeg2019和ADNI数据集上的实验结果证明了该方法的有效性。我们的代码可在https://github.com/ladderlab-xjtu/DuMeta上获得。

1.6 Unsupervised Adaptation of Polyp Segmentation Models via Coarse-to-Fine Self-Supervision

基于从粗到精的自监督无监督自适应息肉分割模型

https://arxiv.org/abs/2308.06665

无监督域自适应（Unsupervised Domain Adaptation，UDA）在过去的十年中受到了极大的关注，但在实际应用中却很难得到应用。考虑到隐私保护问题和安全问题，在这项工作中，我们研究了一个实际问题的无源域适应（SFDA），它消除了对注释源数据的依赖。目前的SFDA方法集中于从源训练模型中提取领域知识，但忽略了目标领域的内在结构。此外，它们通常利用伪标签在目标域中进行自我训练，但遭受臭名昭著的错误累积问题。为了解决这些问题，我们提出了一个新的SFDA框架，称为区域到像素自适应网络（RPANet），它学习区域级和像素级的区分表示通过粗到细的自我监督。所提出的RPANet由两个模块组成，前景感知对比学习（FCL）和置信度校准伪标签（CCPL），明确地解决了“如何区分”和“如何细化”的关键挑战。具体而言，FCL在区域级别引入了一种监督对比学习范式，以对比不同目标图像的不同区域质心，该方法有效地涉及所有伪标签，同时对噪声样本具有鲁棒性。CCPL设计了一种新的融合策略，通过融合两个不同的目标预测，在不引入任何额外的网络模块的情况下，减少伪标签的过度置信问题。对三个跨域息肉分割任务的广泛实验表明，RPANet在不访问源数据的情况下显著优于最先进的SFDA和UDA方法，揭示了SFDA在医疗应用中的潜力。

1.7 SegPrompt: Boosting Open-world Segmentation via Category-level Prompt Learning

SegPrompt：通过类别级提示学习促进开放世界细分

https://arxiv.org/abs/2308.06531

当前的闭集实例分割模型依赖于在训练和评估期间为每个掩模预定义的类标签，这在很大程度上限制了它们检测新对象的能力。开放世界实例分割（OWIS）模型通过以类不可知的方式检测未知对象来解决这一挑战。然而，以前的OWIS方法在训练期间完全擦除类别信息，以保持模型泛化到未知对象的能力。在这项工作中，我们提出了一种新的训练机制称为SegPrompt，使用类别信息，以提高模型的分类不可知的分割能力，已知和未知的类别。此外，以前的OWIS训练设置将未知类暴露给训练集，带来信息泄漏，这在现实世界中是不合理的。因此，我们提供了一个新的开放世界基准更接近现实世界的场景，通过将数据集类划分为已知的、可见的、不可见的部分。这是第一次，我们专注于模型发现从未出现在训练集图像中的对象的能力。 实验表明，SegPrompt可以在不影响推理效率的情况下，将AR的整体和不可见检测性能提高5.6%和6.1%。我们进一步证明了我们的方法对现有的跨数据集传输和强监督设置的有效性，导致5.5%和12.3%的相对改善。

1.8 BEV-DG: Cross-Modal Learning under Bird’s-Eye View for Domain Generalization of 3D Semantic Segmentation

BEV-DG：鸟瞰下的跨模式学习三维语义分割领域泛化

https://arxiv.org/abs/2308.06530

跨模态无监督域自适应（UDA）旨在利用2D-3D数据的互补性来克服新领域中注释的缺乏。然而，UDA方法依赖于在训练期间对目标域的访问，这意味着训练的模型仅在特定的目标域中工作。鉴于此，我们提出了鸟瞰图下的跨模态学习，用于3D语义分割的域泛化（DG），称为BEV-DG。DG更具挑战性，因为模型在训练期间无法访问目标域，这意味着它需要依赖于跨模态学习来缓解域差距。由于3D语义分割需要对每个点进行分类，因此现有的跨模态学习是直接点对点进行的，这对像素和点之间的投影中的未对准是敏感的。为此，我们的方法的目的是优化域无关的表示建模的帮助下，鸟瞰图的跨模态学习。我们提出了基于BEV的区域到区域融合（BAF）进行跨模态学习下鸟瞰图，它具有较高的容错点级错位。此外，模型领域无关的表示，我们提出了BEV驱动的领域对比学习（BDCL）的帮助下，跨模态学习鸟瞰图。我们基于三个3D数据集设计了三个域泛化设置，BEV-DG在所有设置中都以巨大的利润率显著优于最先进的竞争对手。

1.9 Semantic Equivariant Mixup

语义等变混搭

https://arxiv.org/abs/2308.06451

Mixup是一种成熟的数据增强技术，它可以通过基于标签等方差假设创建“混合”样本来扩展训练分布并正则化神经网络，即，输入数据的成比例混合导致相应的标签以相同的比例混合。然而，以前的mixup变体可能无法在训练期间利用混合样本中的标签无关信息，这些信息通常包含更丰富的语义信息。为了进一步释放混合的力量，我们首先通过语义等变假设改进了先前的标签等变假设，该假设指出输入数据的比例混合应该导致相应的表示以相同的比例混合。然后提出了一种表示层的混合正则化方法，利用混合样本中的语义信息对模型进行进一步的正则化。在高层次上，所提出的语义等变混合（sem）鼓励在表示空间中保留输入数据的结构，即，输入的改变将导致所获得的表示信息以相同的方式改变。不同于以往的混淆变体，这往往过度关注的标签相关的信息，所提出的方法的目的是保留更丰富的语义信息的输入与语义等方差假设，从而提高了对分布变化的模型的鲁棒性。我们进行了大量的实证研究和定性分析，以证明我们所提出的方法的有效性。手稿的密码在增刊里。

1.10 TongueSAM: An Universal Tongue Segmentation Model Based on SAM with Zero-Shot

TongueSAM：一种基于Zero-ShotSAM的通用舌体切分模型

https://arxiv.org/abs/2308.06444

舌体分割是中医舌诊自动化的首要步骤，对舌诊结果有着重要的影响。目前，许多基于深度学习的方法已经取得了可喜的成果。然而，这些方法中的大多数在与训练集不同的舌头上表现出平庸的性能。针对这一问题，本文提出了一种基于SAM（Segment Anything Model）的通用舌头分割模型TongueSAM。SAM是一个大规模的预训练交互式分割模型，以其强大的zero-shot泛化能力而闻名。将SAM应用于舌体分割，可以实现对各种类型舌体图像的zero-shot分割。在这项研究中，一个基于对象检测的提示生成器集成到SAM，使端到端的自动舌头分割方法。实验表明，TongueSAM在各种舌分割数据集上实现了卓越的性能，特别是在zero-shot下。TongueSAM可以直接应用于其他数据集，无需微调。据我们所知，这是第一次应用大规模预训练模型进行舌头分割。TongueSAM的项目和预训练模型将在https://github.com/cshan-github/TongueSAM上公布。

1.11 R2S100K: Road-Region Segmentation Dataset For Semi-Supervised Autonomous Driving in the Wild

R2S100K：用于野外半监督自动驾驶的道路区域分割数据集

https://arxiv.org/abs/2308.06393

道路的语义理解是实现安全自动驾驶的关键因素。然而，现有的自动驾驶数据集提供了结构良好的城市道路，而忽略了包含困境、坑洞、水坑和各种道路斑块的非结构化道路，即，泥土、砾石等。为此，我们介绍了道路区域分割数据集（R2 S100 K）-一个大规模的数据集和基准，用于训练和评估上述具有挑战性的非结构化道路的道路分割。R2 S100 K包括从覆盖超过1000公里道路的大型和多样化的视频序列集中提取的100 K图像。在这100 K个隐私保护图像中，14，000个图像具有道路区域的精细像素标记，86，000个未标记的图像可以通过半监督学习方法加以利用。此外，我们提出了一个基于高效数据采样（EDS）的自我训练框架，利用未标记的数据来提高学习。我们的实验结果表明，该方法显着提高了学习方法的泛化能力，并降低了语义分割任务的标记成本。我们的基准将在https://r2s100k.github.io/公开，以促进未来的研究。

1.12 Large-kernel Attention for Efficient and Robust Brain Lesion Segmentation

大核关注度在脑损伤分割中的应用

https://arxiv.org/abs/2308.07251

Vision Transformers是用于视觉任务（包括医学图像分割）的有效深度学习模型。然而，与卷积神经网络（CNN）不同，它们缺乏效率和平移不变性。为了在3D脑病变分割中对远程相互作用进行建模，我们提出了U-Net架构的全卷积Transformer块变体。我们证明，我们的模型在三个因素中提供了最大的妥协：性能与最先进的竞争力; CNN的参数效率;以及Transformer的有利的电感偏置。我们的公开实施可访问https://github.com/liamchalcroft/MDUNet。

1.13 Automated Ensemble-Based Segmentation of Adult Brain Tumors: A Novel Approach Using the BraTS AFRICA Challenge Data

基于集成的成人脑肿瘤自动分割：一种使用Brats非洲挑战赛数据的新方法

https://arxiv.org/abs/2308.07214

脑肿瘤，特别是胶质母细胞瘤，继续挑战全球的医学诊断和治疗。本文探讨了深度学习在多模态磁共振成像（MRI）数据中的应用，以提高撒哈拉以南非洲患者人群的脑肿瘤分割精度。我们介绍了一种集成方法，包括基于三个核心架构的十一种独特变化：UNet3D、ONet3D、SphereNet3D和修改的损失函数。该研究强调了基于年龄和人口的分割模型的必要性，以充分考虑大脑的复杂性。我们的研究结果表明，集成的方法，结合不同的架构，优于单一的模型，导致改进的评估指标。具体地，结果分别表现出对于增强肿瘤、肿瘤核心和整个肿瘤标记的0.82、0.82和0.87的Dice评分。这些结果强调了定制深度学习技术在精确分割脑肿瘤方面的潜力，并为未来微调模型和评估不同大脑区域的性能奠定了基础。

1.14 Automated Ensemble-Based Segmentation of Pediatric Brain Tumors: A Novel Approach Using the CBTN-CONNECT-ASNR-MICCAI BraTS-PEDs 2023 Challenge Data

基于集成的儿童脑肿瘤自动分割：一种使用CBTN-CONNECT-ASNR-MICCAI Brats-PEDS 2023挑战数据的新方法

https://arxiv.org/abs/2308.07212

脑肿瘤仍然是一个关键的全球健康挑战，需要在诊断技术和治疗方法的进步。为了响应对年龄特定分割模型的日益增长的需求，特别是对于儿科患者，本研究探索了使用磁共振成像（MRI）模式部署深度学习技术。通过引入一种新的集成方法，使用ONet和UNet的修改版本，再加上创新的损失函数，这项研究实现了精确的分割模型的BraTS-PED 2023挑战。数据增强，包括单一和复合转换，确保了模型的鲁棒性和准确性跨不同的扫描协议。集成ONet和UNet模型的集成策略在捕获MRI图像的特定特征和建模的不同方面方面显示出更大的有效性，这导致分别用于增强肿瘤、肿瘤核心和整个肿瘤标记的病变程度的骰子评分为0.52、0.72和0.78。视觉比较进一步证实了集成方法在精确的肿瘤区域覆盖方面的优越性。结果表明，这种先进的集成方法，建立在个别模型的独特优势，为提高诊断准确性和有效的治疗计划，在儿科脑肿瘤提供了有前途的前景。

1.15 How inter-rater variability relates to aleatoric and epistemic uncertainty: a case study with deep learning-based paraspinal muscle segmentation

评分者之间的变异性如何与任意和认知不确定性相关：基于深度学习的脊柱旁肌肉分割的案例研究

https://arxiv.org/abs/2308.06964

深度学习（DL）技术的最新发展已经导致医学图像分割任务的性能大幅提高，特别是最新的Transformer模型及其变体。虽然来自融合多评价者手动分割的标签通常被用作DL模型训练中的理想基础事实，但是由于诸如训练偏差、图像噪声和极端解剖学变化性之类的因素而引起的评价者间变化性仍然可以影响所得算法的性能和不确定性。关于评估者间变异性如何影响所得到的DL算法的可靠性（临床部署中的关键要素）的知识可以帮助通知更好的训练数据构建和DL模型，但是尚未被广泛探索。在本文中，我们测量任意和认知的不确定性，使用测试时增强（TTA），测试时脱落（TTD），和深度集成，以探索它们与评分员间变异的关系。此外，我们比较了UNet和TransUNet的两种标签融合策略，研究Transformers对模型不确定性的影响。我们进行了一个案例研究，使用多类椎旁肌肉分割T2w MRI。我们的研究揭示了评价者间的变异性和不确定性之间的相互作用，标签融合策略和DL模型的选择的影响。

1.16 Tissue Segmentation of Thick-Slice Fetal Brain MR Scans with Guidance from High-Quality Isotropic Volumes

高质量各向同性体积引导下的胎脑MR厚层扫描组织分割

https://arxiv.org/abs/2308.06762

厚切片胎儿脑磁共振（MR）扫描的准确组织分割对于重建各向同性脑MR体积和胎儿脑发育的量化至关重要。然而，由于在临床采集的胎儿脑数据中使用厚切片扫描，这项任务具有挑战性。为了解决这个问题，我们建议利用高质量的各向同性胎儿脑MR体积（以及它们相应的注释）作为厚切片扫描分割的指导。由于高质量各向同性体积（即，源数据）和厚切片扫描（即，目标数据），我们采用了域适应技术，以实现相关的知识转移（从高质量的卷厚切片扫描）。具体而言，我们首先登记不同孕周的可用高质量各向同性胎儿脑MR体积，以构建纵向完整的源数据。为了捕获域不变的信息，我们然后执行傅立叶分解以提取图像内容和样式代码。最后，我们提出了一种新的周期一致性域自适应网络（C2 DA-Net），以有效地转移从高质量的各向同性卷中学习到的知识，用于厚切片扫描的准确组织分割。我们的C2 DA-Net可以充分利用一小部分带注释的各向同性体积来指导未注释厚切片扫描的组织分割。对372个临床采集的厚切片MR扫描的大规模数据集的广泛实验表明，我们的C2 DA-Net在定量和定性上实现了比前沿方法更好的性能。

1.17 Polyp-SAM++: Can A Text Guided SAM Perform Better for Polyp Segmentation?

息肉-SAM++：文本引导SAM能更好地进行息肉分割吗？

https://arxiv.org/abs/2308.06623

Meta最近发布了SAM（Segment Anything Model），这是一个通用的细分模型。SAM已经在包括医学图像分割在内的各种分割任务中显示出有希望的结果。在医学图像分割领域，息肉分割占有很重要的地位，因此创建一个模型，这是鲁棒性和精确性是相当具有挑战性的。息肉分割是保证大肠癌更好诊断和治疗的基础性工作。因此，在本研究中，我们将看到Polyp-SAM++，一个文本提示辅助SAM，如何更好地利用SAM使用文本提示进行鲁棒和更精确的息肉分割。我们将在基准数据集上评估文本引导SAM在息肉分割任务上的性能。我们还将比较文本引导SAM与无提示SAM的结果。通过这项研究，我们希望推进息肉分割领域，并激发更多有趣的研究。代码和其他详细信息将很快在https://github.com/RisabBiswas/Polyp-SAM++上公开。

1.18 Leveraging multi-view data without annotations for prostate MRI segmentation: A contrastive approach

利用不带注释的多视角数据进行前列腺MRI分割：一种对比方法

https://arxiv.org/abs/2308.06477

准确的前列腺描绘和体积表征可以支持前列腺癌的临床评估。大量自动前列腺分割工具仅考虑轴向MRI方向，尽管根据多视图数据的采集协议可用。此外，当利用多视图数据时，通常假设所有视图在测试时的手动注释和可用性。在这项工作中，我们在训练时探索一种对比方法，以利用没有注释的多视图数据，并在缺少视图的情况下在部署时提供灵活性。我们提出了一个基于U-Net的三重编码器和单解码器网络，tU-Net（三重U-Net）。我们提出的架构是能够利用无注释的矢状和冠状视图通过对比学习，以改善分割从体积的角度。为此，我们引入了潜在空间中的视图间相似性的概念。为了指导训练，我们结合了相对于轴向视图计算的骰子评分损失及其手动注释连同多视图对比损失。tU-Net显示，相对于仅轴向视图，切片评分系数（DSC）有统计学改善（91.25 ± 0.52%与86.40 ± 1.50%相比，P <0.001）。敏感性分析显示，当与tU-Net配对时，对比损失的体积积极影响（2.85 ± 1.34%对比3.81 ± 1.88%，P <0.001）。此外，当使用多视图数据进行测试时，我们的方法在内部数据集中显示出良好的外部体积泛化（2.76±1.89%对比3.92±3.31%，P =.002），显示了通过对比学习利用无注释多视图数据的可行性，同时在缺少视图的情况下提供部署灵活性。

1.19 CATS v2: Hybrid encoders for robust medical segmentation

CATS v2：用于健壮医疗分段的混合编码器

https://arxiv.org/abs/2308.06377

卷积神经网络（CNN）通过捕获高级（局部）信息，如边缘和纹理，在医学图像分割任务中表现出强大的性能。然而，由于卷积核的视场有限，CNN很难完全表示全局信息。最近，Transformers已经表现出良好的性能，医学图像分割，由于他们的能力，更好地建模长期依赖。然而，Transformers难以像CNN一样有效地捕获高级空间特征。一个好的分割模型应该从局部和全局特征中学习更好的表示，以便既精确又语义准确。在我们以前的工作中，我们提出了CATS，这是一个U形分割网络增强了Transformer编码器。在这项工作中，我们进一步扩展了这个模型，并提出了CATS v2与混合编码器。具体而言，混合编码器由基于CNN的编码器路径平行于具有移位窗口的Transformer路径，其更好地利用本地和全局信息来产生鲁棒的3D医学图像分割。我们融合来自卷积编码器和Transformer的信息在不同分辨率的跳过连接处形成最终的分割。在两个公开挑战数据集上评估所提出的方法：交叉模态域自适应（CrossMoDA）和医学分割十项全能（MSD-5）的任务5，分别分割前庭神经鞘瘤（VS）和前列腺。与最先进的方法相比，我们的方法在更高的Dice分数方面表现出优越的性能。