读论文《Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesis》

论文题目：Hi-Net:用于多模态磁共振图像合成的混合融合网络

论文地址：arxiv

项目地址：github

原项目可能在训练的时候汇报version的错，这是因为生成器和辨别器的优化有些逻辑错误，会改的话多加一个生成操作可以解决，项目已复现，看情况是否更新，

大家有问题可以留言

目的：通过融合多模态数据来提高模型性能，特别是在数据质量较差和患者退出频繁，难以为每个患者收集所有模态的情况下。

摘要：

        磁共振成像(MRI)是一种广泛使用的神经成像技术，可以提供不同对比度(即模式)的图像。事实证明，融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而，由于数据质量差和患者频繁退出，收集每个患者的所有模式仍然是一个挑战。医学图像合成是一种有效的解决方案，它从现有的图像中合成缺失的图像。在本文中，我们提出了一种用于多模态磁共振图像合成的新型混合融合网络(Hi-Net)，它学习从多模态源图像(即现有模态)到目标图像(即缺失模态)的映射。在我们的Hi-Net中，使用特定于模态的网络来学习每个单独模态的表示，并使用融合网络来学习多模态数据的共同潜在表示。然后，设计一个多模态合成网络，将潜在表示与每个模态的层次特征紧密结合，作为合成目标图像的生成器。此外，为了有效地利用多模态之间的相关性，提出了一种分层多模态融合策略，其中提出了混合融合块(MFB)自适应加权不同的融合策略(即元素求和、乘积和最大化)。大量的实验表明，该模型优于其他最先进的医学图像合成方法。

引言（Introduction）

• 论文讨论了医学成像在临床应用中的重要性，特别是MRI技术。
• MRI有多种模态，每种模态捕获了不同的解剖学特征。
• 结合多种模态可以提供更全面的数据集，有助于改善医学任务。

相关工作（Related Works）

• 论文回顾了跨模态合成、医学图像合成和多模态学习的相关研究。
• 介绍了基于生成对抗网络（GAN）的跨模态合成方法。
• 讨论了医学图像合成中的深度学习方法。

方法（Methodology）

 Hi-Net包括三个主要组成部分:模态特定网络（上下的蓝色）、多模态混合网络（中间左边深蓝）和多模态合成网络（中间右边肤色）。

        模态特定网络用于学习模态特定属性，

        多模态融合网络旨在学习多个模态之间的相关性。

        多模态综合网络由生成器和鉴别器组成，其中生成器网络对目标图像进行综合，鉴别器对合成图像和真实图像进行区分。

1. 模态特定网络（Modality-specific Network）

• 每个模态（例如T1、T2等）都有一个特定的网络，用于学习该模态的表示。
• 该网络采用自编码器结构，目的是使用学习到的高层特征表示来重建原始图像。

• 

  可以找到模态特定网络的详细说明，使用一个3 × 3的过滤器，stride为1,padding为1，还加入了批归一化，之后分别在编码器和解码器中使用LeakyReLu和ReLu激活函数。池化和上采样层使用2 × 2滤波器。

• 重建损失函数使用ℓ1范数来衡量原始图像和重建图像之间的差异。
• 重构损失函数:重构损失提供了侧输出监督，以保证特定于模态的网络学习到每个单独模态的判别表示
• 

2. 多模态融合网络（Multi-modal Fusion Network）

• 提出了一种逐层融合网络，用于在不同层（例如，浅层和高层）之间有效利用不同模态的相关性。
• 引入了混合融合块（Mixed Fusion Block, MFB）来自适应地加权不同模态的输入。
• MFB模块结合了逐元素求和、逐元素乘积和逐元素最大化这三种融合策略，并通过卷积层自适应地加权这些融合结果。

• 

  MFB模块的结构(其中“+”、“x”、“Max”和“c”分别表示元素求和、元素乘积、元素最大化和连接操作)。

3. 多模态合成网络（Multi-modal Synthesis Network）

• 使用生成对抗网络（GAN）模型来合成目标模态图像。生成器（Generator）G'尝试从输入Fn生成图像，而鉴别器（Discriminator）D试图区分生成的图像和真实图像。
• 生成器的目标函数包括误导鉴别器的第一项和使用ℓ1范数衡量生成图像与真实图像差异的第二项。
• 鉴别器的输入是与生成器输出大小相同的2D图像，其架构包括多个卷积层。

4. 损失函数（Loss Function）

• 生成器的损失函数结合了对抗性损失和重建损失，其中对抗性损失使生成的图像尽可能真实，而重建损失确保生成的图像与真实图像在像素级上相似。
• 
• 鉴别器的损失函数是一个标准的GAN损失，旨在正确分类真实和生成的图像。
• 
• 

5. 端到端框架（End-to-End Framework）

• 整个Hi-Net框架是端到端的，包括模态特定网络、多模态融合网络和多模态合成网络。
• 通过这种方式，模型可以在不同模态之间学习共享和特有的表示，同时利用它们之间的相关性来提高合成图像的质量。

 

实验设置（Experimental Settings）

• 使用BraTs2018数据集，包含285名患者的多模态MRI扫描。
• 数据集包括T1、T1c、T2和Flair模态，每种模态的体积大小为240×240×155。
• 实验中使用了2D轴向平面切片，并进行了数据增强。

实验结果与讨论（Experiments and Results）

• 论文展示了使用不同方法合成Flair、T2和T1模态图像的定性比较结果。
• 提供了定量评估结果，包括PSNR、NMSE和SSIM等指标。
• Hi-Net在所有比较任务中均优于其他方法。

结论（Conclusion）

• Hi-Net是一个有效的多模态MRI图像合成方法，能够合成高质量的目标模态图像。
• 未来的工作将探索合成图像作为数据增强的可能性。