频频登顶Nature子刊，UNet实在太好用！

UNet自被提出以来，已经被引用超过5万次，至今仍然是各大顶会顶刊的常用baseline，关于它的改进自然也是相当火热，近些年更是频频登上Nature子刊。

简单看了一些成果，UNet的改进思路可以说是五花八门，主要围绕网络结构优化（比如引入注意力机制）、跨模态与跨任务结合（比如+transformer）、训练策略与损失函数创新（比如动态数据增强）、不确定度量化与后处理（比如自适应归一化）等几个方向展开。

不过除了医疗这个核心场景，UNet在工业与新兴领域也有了不少拓展，对于论文er来说，等于又有了新的创新空间，建议感兴趣的同学抓紧搞起。如果需要参考，我这边也整理了38个UNet改进方案，包含了上述的几个细分方向，基本都有代码，无偿分享~

全部论文+开源代码需要的同学看文末

+注意力机制

PAM-UNet: Shifting Attention on Region of Interest in Medical Images

方法：论文提出了一种名为PAM-UNet的新型医学图像分割架构，通过结合移动卷积块和新颖的渐进式Luong注意力机制（PLA），在保持轻量化框架的同时，显著提升了分割精度，有效解决了传统UNet及其变体在浅层编码器架构中难以捕捉关键空间特征的问题。

创新点：

• 提出PAM-UNet架构，结合移动卷积和渐进式Luong注意力机制，实现轻量化与高精度分割。

• PLA机制优于传统注意力机制，能高效捕捉长距离依赖关系。

• 通过CKA分析和实验验证，PAM-UNet在降低计算开销的同时保持了优异的分割性能。

+Transformer

Hyperspectral Image Denoising via Spatial-Spectral Recurrent Transformer

方法：论文提出了一种基于SSRT块的UNet架构（SSRT-UNet），用于高光谱图像去噪。通过在SSRT块中联合利用非局部空间自相似性和全局光谱相关性，并借助RNN和Transformer的结合，该方法能够有效处理任意数量波段的高光谱图像，显著提升了去噪性能。

创新点：

• 提出SSRT块，整合非局部空间自相似性和全局光谱相关性，通过分支交互提升三维高光谱图像的特征提取效果。

• 在光谱分支中结合Transformer和RNN，突破固定波段限制，有效捕捉全局光谱相关性。

• 构建SSRT-UNet网络，利用多尺度信息实现高光谱图像去噪，性能优于现有方法。

数据增强

Shadow Removal via Global Residual Free Unet and Shadow Generation

方法：本文提出了一种基于阴影生成和改进的无残差UNet（GRFUnet）的阴影去除方法，通过生成阴影数据增强训练，并设计了GRFUnet网络架构，同时摒弃了传统的全局残差连接，以提升高分辨率图像阴影去除的效果。

创新点：

• 利用GAN生成阴影掩码并与干净图像相乘，增强数据，解决颜色不一致问题。

• 提出GRFUnet，通过空间交互和通道演变提取特征，去除传统全局残差连接，提升阴影去除效果。

• 在NTIRE 2024挑战赛中，该方法获得最高PSNR值，分别在保真度和感知度赛道中排名第三和第四。

损失函数优化

DCDR-UNet: Deformable Convolution Based Detail Restoration via U-shape Network for Single Image HDR Reconstruction

方法：本文提出了一种基于可变形卷积的改进型 U-Net 网络（DCDR-UNet），通过引入可变形卷积残差块和特定的损失函数，有效解决了传统单图像 HDR 重建方法在处理大范围过曝区域以及部分过曝小物体时细节恢复不佳的问题，显著提升了 HDR 图像重建的质量。

创新点：

• 首次将可变形卷积引入单图像HDR重建，自适应调整像素接收场，改善大范围过曝区域细节恢复问题。

• 提出结合Tanh L1和VGG损失的新型损失函数，提升小物体及复杂场景重建质量。

• 改进U-Net架构，添加多尺度条件图和SFT层，增强对不同图像内容的适应性和细节恢复能力。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“222”获取全部方案+开源代码

码字不易，欢迎大家点赞评论收藏