MICCAI 2024｜改进U-Net！SelfReg-UNet：医学图像分割新框架

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba和医学影像】交流群

添加微信号：CVer111，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

转载自：极市平台

 

所提出的方法可以即插即用的方式集成到现有的UNet架构中，并且不增加计算成本。实验结果表明，所提方法在4种医学图像分割数据集上持续提高了标准UNets的性能。 

文章《SelfReg-UNet: Self-Regularized UNet for Medical Image Segmentation》由Wenhui Zhu、Xiwen Chen、Peijie Qiu等人撰写，发表于顶级学术会议MICCAI。通过Unet中自信息提升性能, 可以即插即用在大部分主流的Unets模型中.

Paper link: https://arxiv.org/pdf/2406.14896

Open-source code: https://github.com/ChongQingNoSubway/SelfReg-UNet

这篇文章提出了一种自正则化的即插即用的技术，旨在改善标准UNet的性能，特别是针对医学图像分割任务。UNet自推出以来，在医学图像分割任务中表现优异。然而，尽管有许多研究致力于提升UNet的性能，却鲜有深入分析UNet在医学图像分割中的底层模式的研究。在本文的研究中，我们深入分析了UNet在医学图像分割任务中的表现，发现了两个影响其性能的重要因素：非相关特征学习和特征图中的冗余信息。为了解决这些问题，我们提出了在编码器和解码器之间平衡监督，并减少UNet中的冗余信息的方法。

非相关特征学习

在UNet中，编码器负责将输入图像的高维像素数据转换为低维的特征表示，而解码器则将这些低维特征重新转换为高维的分割掩码。在这个过程中，编码器和解码器的监督信号存在不对称性，即解码器接受了更多的直接监督信号，而编码器则较少。具体表现为：

1.解码器的强监督信号：解码器的每一层在训练过程中都能获得来自最终分割结果的直接反馈，这使得解码器能够逐步调整其参数以更好地匹配真实标签。

2.编码器的弱监督信号：相比之下，编码器只能通过间接的方式获得监督信号，即通过解码器的反馈进行调整。这种不对称性导致编码器容易学习到一些与分割任务无关的特征，影响最终的分割效果。

这种不对称性监督导致了编码器倾向于捕获一些非相关的特征，无法有效地聚焦于分割任务所需的语义信息。这些非相关特征不仅增加了模型的复杂度，还可能对解码器的性能产生负面影响。

特征图中的冗余信息

在UNet的训练过程中，我们还发现了特征图中的冗余信息问题。具体来说：

1.深层特征图的冗余：在UNet的深层特征图中，不同通道之间的特征往往具有较高的相似性。这种高相似性的特征意味着模型在不同通道上学习到了类似的信息，导致计算资源的浪费和模型的过拟合。

2.浅层特征图的多样性：与深层特征图相比，浅层特征图展示了更高的多样性，不同通道之间的特征相对独立，包含更多有用的信息。

特征图中的冗余信息不仅增加了模型的计算成本，还可能导致特征表示的效率降低，从而影响分割性能。

平衡监督和减少冗余的方法

为了应对上述两个问题，本文提出了两种创新的方法：语义一致性正则化（Semantic Consistency Regularization，SCR）和内部特征蒸馏（Internal Feature Distillation，IFD）。

1.语义一致性正则化（SCR）：我们通过在UNet的编码器和解码器之间引入额外的监督信号，平衡它们之间的监督强度。具体方法是利用解码器最后一层的特征图（包含了最丰富的语义信息）对其他层提供额外的监督信号。这种方法通过平均池化和随机通道选择操作，确保不同层之间的特征对齐，从而减少非相关特征的学习。

2.内部特征蒸馏（IFD）：为了减少特征冗余，我们从浅层特征向深层特征进行信息蒸馏。具体做法是将特征通道分为上半部分和下半部分，利用上半部分（浅层）特征指导下半部分（深层）特征的学习。这种方法通过引入L2范数作为距离度量，确保深层特征能够有效地学习到有用的上下文信息，减少冗余。

通过这两种方法，我们不仅平衡了编码器和解码器之间的监督信号，还显著减少了特征图中的冗余信息，从而提高了UNet在医学图像分割任务中的性能。这些改进不仅适用于标准的CNN-UNet结构，还可以推广到基于ViT（Vision Transformer）的UNet结构，实现广泛的应用。

SelfReg-UNet的有效性通过在多个公认的医学图像数据集上进行的广泛测试得到了证实。这些数据集包括Synapse多器官CT数据集和ACDC心脏MRI数据集，其中SelfReg-UNet在所有主要性能指标上均显著超越了现有的先进方法。

• Synapse多器官CT数据集： 在这个包含多种腹部器官的数据集上，SelfReg-UNet通过其创新技术显著提高了模型的Dice相似系数（DSC），平均提高了3.49%。这一改进显示了SelfReg-UNet在处理具有复杂结构和细微纹理的器官图像时的优势。

• ACDC心脏MRI数据集： 在心脏MRI图像分割任务中，SelfReg-UNet同样展示了出色的性能，尤其是在分割心室和心肌区域时，模型能够更精确地识别并界定各个部分，从而为临床诊断提供了更为可靠的支持。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信号：CVer111，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer111，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看