读论文《Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MRImage Synthe》

论文题目：基于边缘感知的多尺度变压器网络跨模态图像合成

论文地址：Multi-Scale Transformer Network With Edge-Aware Pre-Training for Cross-Modality MR Image Synthesis | IEEE Journals & Magazine | IEEE Xplore

项目地址：GitHub - lyhkevin/MT-Net: Multi-scale Transformer Network for Cross-Modality MR Image Synthesis (IEEE TMI)

先看论文，下一篇博客复现代码

摘要

        交叉模态磁共振(MR)图像合成可用于从给定模态生成缺失模态。现有的(监督学习)方法通常需要大量成对的多模态数据来训练有效的综合模型。然而，获得足够的成对数据进行监督训练往往具有挑战性。在现实中，我们经常有少量的成对数据，而大量的未成对数据。

        为了利用成对和非成对数据，本文提出了一种具有边缘感知预训练的多尺度变压器网络(MT-Net)，用于跨模态磁共振图像合成。具体而言，首先以自监督的方式对边缘保持掩码自动编码器(edge - mae)进行预训练，同时对每个图像中的随机掩码补丁进行图像插值，并对整个边缘映射进行估计，有效地学习上下文信息和结构信息。此外，为了提高Edge-MAE的性能，提出了一种新的基于补丁的损失方法，根据不同的掩膜补丁的impuimpu难度对其进行不同的处理。在此基础上，在后续的微调阶段，我们设计了一个双尺度选择性融合(DSF)模块，通过整合从预训练的Edge-MAE编码器中提取的多尺度特征来合成缺失模态图像。此外，该预训练编码器还用于从合成图像和相应的真值图像中提取高级特征，这些特征在训练中要求相似(一致)。实验结果表明，即使使用所有可用成对数据的70%，我们的MT-Net也可以达到与竞争方法相当的性能。

思路：编码获得每个模态的特征作为预训练，微调生成对应模拟

引言        

        磁共振成像(MRI)设置不同的扫描参数可以产生不同的模式，如T1加权(T1)、T2加权(T2)、T1加权动态对比增强(T1c)和T2流体衰减反演恢复(FLAIR)。这些对比度各有用处。

        有可能出现模态缺失，医学图像合成的目的是从给定的源模态图像中预测缺失模态(或称为目标模态)图像。

        现在的GAN 和CNN存在的一些问题，巴拉巴拉……transformer的设计植根于自关注机制，该机制有效地捕捉了输入序列元素之间的相互依存关系，以获得更好的特征表示能力

        本文提出了一种多尺度变换网络（MT-Net），通过边缘感知的自监督预训练来利用配对和非配对数据。贡献如下：

1. 提出了一种新的跨模态MRI图像合成框架，利用自监督预训练处理有限的配对数据挑战。
2. 提出了边缘保持的掩码自编码器（Edge-MAE），通过同时进行图像填充和整体边缘图估计来保留强度信息和边缘信息。
3. 设计了一种新颖的基于补丁的损失函数，通过根据各自填充的难度不同对待不同的掩码补丁，增强了Edge-MAE的性能。
4. 提出了MT-Net，通过整合预训练Edge-MAE编码器提取的多尺度特征进行微调，用于合成目标模态图像。

相关工作

• 医学图像合成：学习从给定的源模态图像到缺失模态图像的映射。现有方法大多基于条件生成对抗网络（cGANs），如Pix2Pix和