【AAAI 2025】多尺度对比特征融合CDFA，即插即用，极大增强特征表达！

最新推荐文章于 2025-03-22 07:54:18 发布

小天才学习机打游戏

最新推荐文章于 2025-03-22 07:54:18 发布

阅读量2.2k

点赞数 30

文章标签：人工智能 langchain 服务器数据库语言模型

本文链接：https://blog.csdn.net/m0_59164520/article/details/145041183

版权

一、论文信息

论文题目：ConDSeg: A General Medical Image Segmentation Framework via Contrast-Driven Feature Enhancement

中文题目：ConDSeg：一种通过对比驱动特征增强的通用医学图像分割框架

核心速览：本文提出了一种名为ConDSeg的通用医学图像分割框架，通过对比驱动的特征增强来解决医学图像分割中的“软边界”和共现现象两大挑战。

二、论文概要

Highlight

图1：医学图像分割中的主要挑战。

图3：不同方法的Grad-CAM可视化。它展示了我们模型和TGANet在共现和单独出现情况下的注意力区域。

1. 研究背景:

研究问题：医学图像分割在临床决策、治疗规划和疾病监测中扮演着重要角色。然而，由于医学图像中前景和背景之间存在“软边界”，以及图像照明条件差、对比度低，导致前景和背景的可区分性降低，使得准确分割成为挑战。此外，医学图像中广泛存在的共现现象，使得模型容易学习到与目标本身无关的共现特征，导致预测不准确。
研究难点：医学图像分割面临的主要挑战包括图像中前景和背景之间的模糊边界（软边界）以及图像中广泛存在的共现现象。这些挑战导致模型难以准确提取和区分目标特征，从而影响分割性能。
文献综述：近年来，深度学习方法在医学图像分割领域显示出巨大潜力，如U-Net、U-Net++、PraNet、TGANet、CASF-Net等不断改进分割性能。尽管现有深度学习方法在医学图像分割方面取得了重大突破，但准确分割仍然是一个挑战。为了解决这些问题，本文提出了一种名为ConDSeg的通用医学图像分割框架，通过对比驱动的特征增强来提高模型的分割性能。

2. 本文贡献:

对比驱动特征增强：提出了一种名为ConDSeg的通用医学图像分割框架，通过对比驱动特征增强来解决医学图像中前景和背景之间的“软边界”问题，以及图像中光照不足和对比度低导致的可区分性差的问题。ConDSeg框架包括一致性增强训练策略和语义信息解耦模块，以及对比驱动特征聚合模块和尺寸感知解码器。
对比驱动特征聚合模块（CDFA）：提出对比驱动特征聚合模块，接收来自语义信息解耦模块的前景和背景特征，指导多级特征融合和关键特征增强，进一步区分待分割实体。
实验结果：在五个具有挑战性的公共医学图像分割数据集上进行了广泛的实验，包括Kvasir-SEG、Kvasir-Sessile、GlaS、ISIC-2016和ISIC-2017，覆盖了三种医学图像模态的任务。ConDSeg在所有五个数据集上均取得了最先进的性能，验证了该框架的先进性和普遍适用性。

三、方法

图2：所提出的ConDSeg的整体框架。

图4：CDFA的结构。

CDFA模块通过显式建模前景特征(foregroundfeature,fg)和背景特征(backgroundfeature,fg)的对比关系，增强输入特征图F的语义表达能力。实现原理：

1. 计算注意力权重：在每个空间位置 (i,j)，CDFA 通过包含前景和背景细节的 K ×K 窗口计算注意力权重。输入特征图F首先通过多个 CBR（卷积、BatchNorm和ReLU）块进行初步融合，然后通过线性层映射到值向量V。接着，V在每个局部窗口展开，准备为每个位置聚合邻域信息。

2. 生成注意力权重：前景和背景特征图通过两个不同的线性层处理，生成相应的注意力权重A_{fg}和A_{bg}。

3. 加权聚合特征表示：通过 Softmax 函数激活前景和背景的注意力权重，然后对展开的值向量V进行加权，以获得每个位置的加权值表示。

4. 密集聚合特征表示：最后，将加权值表示密集聚合以获得最终的输出特征图。

四、实验分析

1. 本文在五个具有挑战性的公共数据集上进行了实验，这些数据集包括Kvasir-SEG、Kvasir-Sessile、GlaS、ISIC-2016和ISIC-2017，涵盖了内窥镜、全切片图像（WSI）和皮肤镜三种不同的医学图像模态。实验结果表明，本文提出的ConDSeg方法在所有数据集上均取得了最先进的性能。ConDSeg在Kvasir-Sessile数据集上的mIoU（平均交并比）为84.6%，mDSC（平均Sorensen-Dice系数）为90.5%；在Kvasir-SEG数据集上，mIoU为81.2%，mDSC为89.1%；在GlaS数据集上，mIoU为85.1%，mDSC为91.6%。在ISIC-2016数据集上，mIoU为86.8%，mDSC为92.5%；在ISIC-2017数据集上，mIoU为80.9%，mDSC为88.3%。这些结果均优于其他对比方法，如U-Net、U-Net++、PraNet、TGANet等。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述