【小波变换】小波变换在图像生成、分割等任务中应用

【1】WDM：用于高分辨率医学图像合成的 3D 小波扩散模型

WDM: 3D Wavelet Diffusion Models for High-Resolution Medical Image Synthesis

        由于 CT 或 MR 扫描的三维性质，医学图像的生成建模是一项特别具有挑战性的任务。现有的方法大多采用分片、切片或级联生成技术，以便将高维数据放入有限的 GPU 内存中。然而，这些方法可能会引入伪影，并可能限制模型在某些下游任务中的适用性。本研究提出的 WDM 是一种基于小波的医学图像合成框架，它将扩散模型应用于小波分解图像。所介绍的方法是将三维扩散模型扩展到高分辨率的一种简单而有效的方法，并且可以在单个 40 GB GPU 上进行训练。在分辨率为 128 × 128 × 128 的 BraTS 和 LIDC-IDRI 无条件图像生成上的实验结果表明，与最新的 GAN、扩散模型和潜在扩散模型相比，方法具有最先进的图像保真度（FID）和样本多样性（MS-SSIM）得分。提出的方法是唯一一种能在 256 × 256 × 256 分辨率下生成高质量图像的方法，其性能优于所有同类方法。

        小波变换:离散小波变换（DWT）是一种广泛使用的时频分析工具。它由步长为 2 的低通和高通滤波器组合而成，沿所有三个空间维度应用。它们将三维体积 y ∈ R^D×H×W 分解为 8 个小波系数 (xlll, xllh, xlhl, xlhh, xhll, xhlh, xhhl, xhhh) = DWT(y)，空间分辨率为 x{lll,...hhh}∈ R ^D /2 ×H /2 ×W/ 2 的一半。通过逆离散小波变换（IDWT），可以从小波系数 y = IDWT(xlll,...,xhhh)得到原始图像 y。在这项工作中，我们应用小波变换，通过在信道维度上聚合分解的特征来减少输入量的空间维度，为常用的自动编码器压缩提供了一种无需训练的替代方法。使用哈尔小波来实现 [19] 中提出的方法。

        基于小波的图像合成：提出了一种三维医学图像合成框架，它通过生成合成小波系数，然后进行 IDWT 处理，从而生成高分辨率图像。给定输入图像 y ∈ R^D×H×W，首先应用 DWT 将该图像分解为 8 个小波系数。将它们连接起来，形成一个单一的目标矩阵 x∈R^8×D/ 2×H/ 2×W /2，由扩散模型进行预测。在处理矩阵 x 时，首先通过第一次卷积将其映射到网络的基本通道 C（输入层的通道数）上，与标准架构相比，网络宽度保持不变。由于网络只在小波域上运行，因此空间维度减少了 8 倍，从而使网络架构更浅，计算量更少，内存占用也大大减少。 

【2】 Stage-by-Stage Wavelet Optimization Refinement Diffusion Model for Sparse-View CT Reconstruction

用于稀疏视图 CT 重建的逐级小波优化细化扩散模型

        扩散模型已成为应对稀疏视图 CT 重建挑战的一种潜在工具，与传统方法相比表现出更优越的性能。然而，这些流行的扩散模型主要集中在正弦图或图像域，这可能会导致模型训练过程中的不稳定性，最终可能会收敛到局部最小解。小波变换可将图像内容和特征分解为不同尺度的频率分量带，从而有效捕捉不同的方向结构。采用小波变换作为指导性稀疏先验，可显著增强扩散模型的鲁棒性。在本研究中，提出了一种用于稀疏视图 CT 重建的创新方法，即逐级小波优化细化扩散（SWORD）模型。具体来说，建立了一个整合了低频和高频生成模型的统一数学模型，并通过优化程序实现求解。此外，在小波分解分量而非原始正弦曲线上执行低频和高频生成模型，确保了模型训练的稳定性。方法植根于成熟的优化理论，包括三个不同的阶段，包括低频生成、高频细化和域变换。实验结果表明，所提出的方法在数量和质量上都优于现有的先进方法。

        通过将图像分为高频和低频分量，低频分量的得分函数侧重于学习主要结构和特征，而高频分量的得分函数则侧重于学习小细节和特征。因此，为了在训练过程中获得更好的稳定性和准确性，将两者分开处理就变得至关重要。因此，为稀疏视图 CT 重建提出了一种新颖的分阶段小波优化细化扩散