读论文《Variable Augmented Network for InvertibleModality Synthesis-Fusion》

可逆模态综合融合的变增广网络

论文地址：arxiv

项目地址：github

这篇论文提出了一种名为iVAN（invertible and variable augmented network）的方法，用于医学图像的合成和融合。以下是方法部分的详细解读：

I. 引言

医学成像在临床应用中扮演着重要角色，但由于成像机制的限制，单一模态的医学图像通常无法提供足够的信息来满足复杂诊断的需求。例如，CT图像可以清晰地显示骨骼和植入物，但不擅长展示软组织；而MRI图像可以提供高分辨率的软组织详细信息，但在拍摄骨骼结构时容易引入伪影。PET图像可以反映血流和代谢变化的功能信息，但空间分辨率通常很低。多模态医学图像合成和融合提供了有效的技术手段来解决这些问题。

II. 预备知识

1. 合成和融合的公式化：

   • 单模态合成：目标是学习一对一的映射，即从源模态图像xx合成目标模态图像yy。
   • 多模态合成和融合：涉及多输入单输出的映射，使用不同模态的互补信息来获得高质量的目标模态图像或融合图像。

2. 可逆神经网络：

   • 传统神经网络通常只关注前向预测过程，不具备逆向推理能力。可逆神经网络（INNs）学习无信息损失的映射，通常由一系列可逆层组成，如仿射耦合层、可逆1x1卷积层和actnorm层。INNs在前向和反向变换中都完全保留信息。

III. 提出的iVAN模型

 当前的网络可以处理
一输入到一输出的综合情况，多输入到一输出的综合情况，多输入到一输出的融合情况。红色方框中的图像是可变增广图像。

iVAN的train pipeline。在训练过程中，网络的输入和输出在同一维度下。红色方块中的图像
方框为可变增广图像。

 

1. 统一框架：

   • iVAN通过变量增强技术，使得网络输入和输出具有相同的通道数，从而将图像合成和融合视为单一问题。
   • iVAN可以处理单输入到单输出、多输入到单输出以及多输入到多输出的映射。

2. 网络架构：

   • iVAN设计了一个由一系列可逆和可处理的双射函数组成的网络，即f0,f1,...,fkf0​,f1​,...,fk​。

     

     可逆模型由正向和逆过程两部分组成。我们举例说明了可逆块的细节
     底部。

3. • 使用仿射耦合层实现双射模型，每个耦合层将输入mm映射到输出nn，并通过神经网络实现比例和翻译函数。

4. 训练目标：

   • iVAN使用欧几里得损失函数来生成代表性特征，最小化输入和合成/融合图像像素值之间的均方误差。
   • 训练目标函数如下： Ltotal=λ∥f(X)−Y∥22+∥X−f−1(Y)∥22Ltotal​=λ∥f(X)−Y∥22​+∥X−f−1(Y)∥22​ 其中，YY是真实目标图像，f(X)f(X)是iVAN网络输出的图像，λλ用于平衡两个损失函数。

5. “对抗性学习”的解释：

   

   对抗性学习方案与提出的iVAN的解释之间的可视化比较

   • iVAN不仅具有底层的对抗性学习机制，还涉及紧凑且简单的网络架构。
   • 通过前向网络ff形成合成图像yy，然后通过可逆网络f−1f−1最小化损失函数，实现更紧凑的对抗性学习机制。

IV. 实验

1. 实验设置：

   • 使用哈佛大学数据库和Brainweb数据集进行评估。
   • 所有网络使用Adam求解器进行训练，训练300个周期，初始学习率设置为0.0001，每50个周期学习率减半。

2. 质量指标：

   • 在合成实验中，使用峰值信噪比（PSNR）、结构相似性指数（SSIM）和归一化均方误差（NMSE）进行评估。
   • 在融合实验中，使用平均梯度（AG）、空间频率（SF）、熵（EN）、归一化互信息（QMI）和/Qab/f进行定量评估。

3. 图像合成比较：

   • 与Pix2pix、cycleGAN和Hi-Net等方法进行比较，评估从T1到T2、从T1和PD到T2以及从T1和T2到PET的合成任务。

4. 图像融合比较：

   • 与LP-SR、LRD、CS-MCA和LP-CNN等方法进行比较，评估不同方法的客观性能。

5. 可逆图像合成和融合：

   • 展示iVAN的可逆性，即使在逆向过程中也能恢复真实且多样化的原始图像。

 

V. 讨论

1. 损失函数的选择：

   • 比较了L1-范数和L2-范数约束的损失函数对iVAN合成效果的影响，发现L2-范数约束的损失函数在PSNR和NMSE上表现更好。

2. 多通道机制的有效性：

   • 比较了三通道和六通道输入对iVAN合成PET图像的影响，发现六通道输入可以获得更好的合成效果。

VI. 结论

iVAN通过可逆神经网络实现了医学图像的合成和融合，利用多模态之间的相关性，并通过变量增强技术简化了网络结构。实验结果表明，iVAN在合成和融合任务中的表现优于其他最先进的方法。