登上Nature和CVPR!小波变换+UNet上大分!

最近UNet又出现了不少新成果,结合小波变换屡登Nature子刊和CVPR24!比如三路径U-Net模型,利用Haar小波变换大幅提高系统整体性能;再比如利用小波变换的特性来改进U-Net架构的MLWNet网络,性能猛超SOTA!

原因在于,这种结合不仅可以融合两者各自的优点,还能产生新的协同效应!小波变换通过预处理图像提取有用特征,帮助UNet分割;而UNet的跳跃连接结构可以保留细节,结合小波变换的局部化性能提升分割精度。

更赞的是,通过灵活调整小波变换的参数和Unet的架构设计,可以满足不同应用场景的需求。因此,这种可以全面提升特征提取能力、细节捕捉能力、数据压缩效率的方法,是如今图像分割领域的研究热点之一。

为方便论文er找参考,我这边整理了8篇小波变换+UNet最新论文(代码),需要的同学可以无偿获取,希望能帮大家尽快找到idea中稿。

全部论文+开源代码需要的同学看文末

WET-UNet: Wavelet integrated efficient transformer networks for nasopharyngeal carcinoma tumor segmentation

方法:一种结合了小波变换和UNet网络的混合模型,名为WET-UNet,旨在提高鼻咽癌肿瘤图像分割的性能。通过将小波变换集成到UNet网络中,可以增强病变边界信息,并通过使用低频分量来调整编码器的低频部分,优化后续的Transformer计算过程,从而提高图像分割的准确性和鲁棒性。

创新点;

  • 将小波变换和Transformer模块集成到改进的UNet架构中,显著提高了鼻咽癌图像分割的准确性和模型鲁棒性。

  • 引入了WT和Transformer模块,WET-UNet网络的参数复杂度仍保持在可控范围内。这使得该模型在提高分割性能的同时,保持了适用性,适合实际的临床应用。

Brain tumor segmentation by combining MultiEncoder UNet with wavelet fusion

方法:论文提出了一种结合了多编码器UNet和小波变换融合的脑肿瘤分割网络。该网络采用晚期融合策略,每个编码器专门处理不同的模态数据,并通过3D离散小波变换的特征融合模块来提取编码器之间的互补特征。作者还引入了一个3D全局上下文感知模块,用于捕获肿瘤体素的长距离依赖关系。

创新点;

  • 提出了一种后融合策略的多模态分割网络,采用多编码器和单解码器结构。

  • 引入了一种新颖的3D小波融合模块(WFM),基于后融合策略,在每个编码器的不同级别上融合图像特征。

  • 通过引入3D全局上下文感知模块,网络能够高效捕获肿瘤体素之间的长距离依赖关系。

Spectral U-Net: Enhancing medical image segmentation via spectral decomposition

方法:论文提出了一个名为Spectral U-Net的新型深度学习网络,它基于小波分解技术,特别是利用双树复小波变换进行下采样,以及利用逆双树复小波变换进行上采样。这些技术被整合到U-Net架构中,目的是在下采样过程中减少信息丢失,并在上采样过程中增强细节重建。

创新点:

  • 将双树复数小波变换(DTCWT)集成到卷积神经网络框架中,用于在编码阶段进行无损降采样。

  • 在编码阶段设计了一个波动块,利用DTCWT将输入特征图分解为低频和高频分量,实现空间分辨率的降低和通道数的增加。

  • 在解码阶段,设计了逆波动块,通过逆DTCWT从下采样的波动系数中重建原始输入,保留所有相关信息并重建空间分辨率,有效缓解了信息损失问题。

Finger-UNet: A U-Net based Multi-Task Architecture for Deep Fingerprint Enhancement

方法:论文介绍的是一个名为Finger-UNet的多任务架构,基于U-Net模型进行指纹增强。文章中使用了离散小波变换(DWT)作为下采样的方法,并提出了一个波小波注意力模块(Wavelet Attention Module),以替代传统的最大池化(max pooling),从而在指纹增强任务中减少信息损失。

创新点:

  • 设计了一种名为FingerUNET的架构,这是对U-Net的改进,专门用于处理指纹数据的增强任务。

  • 通过将细节点检测和方向估计分支以多任务的方式结合使用,展示了如何利用领域知识来进一步提升指纹增强的性能。

  • 在模型中引入波形注意力块进一步提升了结构相似性指数和指纹图像质量。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“小波分割”获取全部方案+开源代码

码字不易,欢迎大家点赞评论收藏

### 最新版 UNET 架构及其应用 #### UNet++ UNet++ 是对原始 UNet 的改进版本,在整体网络结构中加入了更多特征融合机制,使得模型能够更好地利用不同层次的特征信息。通过引入类似于 DenseNet 思想中的密集连接模式,UNet++ 实现了更为丰富的特征拼接操作,从而提高了分割效果[^1]。 #### Swin-Unet Swin-Unet 结合了 Transformer CNN 的优势,采用纯 Transformer 架构来处理医学图像分割任务。该架构由编码器、瓶颈层、解码器以及跳跃连接构成,其中基本单元为 Swin Transformer 块。这种设计不仅保留了传统卷积神经网络的空间局部性特点,同时也具备自注意力机制带来的全局感受野特性[^2]。 #### DC-UNet DC-UNet 提出了双通道 CNN 块的概念,旨在以较少参数量实现高效特征提取,并将其与 Residual Path (Res-Path) 相结合形成新的类 Unet 架构。此方法增强了对于复杂场景下细微结构的学习能力,适用于需要高精度边缘检测的应用场合[^3]。 #### UNet 3+ UNet 3+ 则进一步扩展了经典的 UNet 设计理念,提出了全尺度连接的思想。这一创新允许低分辨率特征图直接参与到最终预测过程中,有效解决了跨尺度信息传递不畅的问题。此外,Deep Supervision 技术也被应用于训练过程之中,有助于提升模型收敛速度并改善泛化性能[^4]。 ```python import torch.nn as nn class UNetPlusPlus(nn.Module): def __init__(self, in_channels=3, out_channels=1): super(UNetPlusPlus, self).__init__() # Define layers here based on the architecture described above def forward(self, x): pass # Note: The actual implementation would require defining all necessary components such as encoder/decoder blocks etc. ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值