生成式AI-医学影像专刊论文合集(2022-2023)(二)

生成式AI会议

Simulation and Synthesis in Medical Imaging (SASHIMI)

是 MICCAI 下的一个workshop，主要收集图像转换、跨模态合成、超分辨等方面的论文。

在本文中，我将为大家整理近2年来的论文题目和摘要，以便让大家更好地了解生成式AI的研究热点。

2022论文合集

1.Subject-Specific Lesion Generation and Pseudo-Healthy Synthesis for Multiple Sclerosis Brain Images

标题：多发性硬化脑MRI的个体特异性病变生成和伪健康合成

摘要：了解脑部病变的强度特征对于定义神经学研究中的基于图像的生物标志物以及预测疾病负担和结果至关重要。在这项工作中，我们提出了一种新颖的基于前景的生成方法，用于模拟局部病变特征，既可以在健康图像上生成合成病变，又可以从病理图像中合成个体特异性的伪健康图像。此外，所提出的方法可以作为数据增强模块，生成用于训练脑图像分割网络的合成图像。在使用磁共振成像（MRI）获取的多发性硬化（MS）脑图像上的实验表明，所提出的方法可以生成高度逼真的伪健康和伪病理脑图像。与传统的数据增强方法以及最近的基于病变的数据增强技术CarveMix相比，使用合成图像进行数据增强可以提高脑图像分割的性能。代码在https://github.com/dogabasaran/lesion-synthesis

2. Generating Artificial Artifacts for Motion Artifact Detection in Chest CT

标题：在胸部CT中生成人工伪影以用于运动伪影检测

摘要：运动伪影对胸部CT扫描的分析可能会产生不利影响，因为这些伪影可能会模仿或掩盖真正的病理学特征。定位肺部的运动伪影可以提高诊断质量。由于伪影的多样性，需要大量注释来训练检测模型，但是手动注释可能具有主观性、不可靠性，并且需要耗费大量人力物力。我们提出了一种新颖的方法（代码https://github.com/guusvanderham/artificial-motion-artifacts-for-ct），该方法基于模拟的CT重建，在胸部CT图像中生成人工运动伪影。我们使用这些人工伪影来训练完全卷积网络，以便可以检测胸部CT扫描中的真实运动伪影。我们在公共LIDC、RIDER和COVID19-CT数据集的扫描上评估了我们的方法，并发现可以使用人工生成的伪影来训练检测模型。当手动注释的扫描有限时，生成的伪影大大提高了性能。

3. Pathology Synthesis of 3D Consistent Cardiac MR Images Using 2D VAEs and GANs

标题：使用2D VAEs和GANs合成三维一致性的心脏MRI图像的病理特征

摘要：我们提出了一种方法，用于合成具有合理心脏形状和逼真外观的心脏MR图像，以生成深度学习训练的标记数据。它将图像合成分解为标签变形和标签到图像的转换任务。前者通过VAE模型中的潜在空间插值实现，而后者则通过条件GAN模型完成。我们设计了一种在经过训练的VAE模型的潜在空间中进行标签操作的方法，即病理学合成，旨在合成具有所需心脏疾病特征的一系列伪病理合成主体。此外，我们提出了通过估计潜在向量之间的相关系数矩阵并利用它来关联随机抽样的元素，从而在VAE的潜在空间中建模2D切片之间的关系，并将其解码为图像空间。这种简单而有效的方法导致了通过逐层生成2D切片来生成3D一致主体。这样的方法可以为多样化和丰富心脏MR图像的可用数据库提供解决方案，并为开发通用DL图像分析算法铺平道路。代码在https://github.com/sinaamirrajab/CardiacPathologySynthesis

4. HealthyGAN: Learning from Unannotated Medical Images to Detect Anomalies Associated with Human Disease

标题：HealthyGAN: 从未标注的医学影像中学习，以检测与人类疾病有关的异常

摘要：医学图像的自动异常检测，例如MRI和X光片，可以显著减少人力在疾病诊断中的投入。由于建模异常的复杂性以及领域专家（例如放射科医生）进行手动注释的高成本，在当前医学影像文献中，一种典型的技术集中于仅从健康受试者中导出诊断模型，假设该模型将检测病人图像作为异常值。然而，在许多实际场景中，具有健康和患病个体混合的未注释数据集非常丰富。

因此，本文提出了一个研究问题，即如何通过利用（1）一组未标记的混合图像，以及（2）文献中使用的健康图像来改进无监督异常检测。为了回答这个问题，我们提出了HealthyGAN，一种新颖的单向图像到图像的翻译方法，它学习将混合数据集中的图像转换为仅健康图像。作为单向方法，HealthyGAN放宽了现有无配对图像到图像翻译方法对循环一致性的要求，这在混合未标记数据中是不可实现的。一旦学习了翻译，我们通过将其翻译输出减去任何给定图像来生成差异图。差异图中的显著响应区域对应于潜在的异常（如果有）。我们的HealthyGAN在两个公开可用数据集（COVID-19和NIH ChestX-ray14）以及Mayo Clinic收集的一个机构数据集上，明显优于传统的最先进方法。该实现在https://github.com/mahfuzmohammad/HealthyGAN

5. Bi-directional Synthesis of Pre- and Post-contrast MRI via Guided Feature Disentanglement

标题：通过引导特征解耦实现对比剂前和对比剂后MRI的双向合成（平扫生成增强，增强生成平扫）

6. Morphology-Preserving Autoregressive 3D Generative Modelling of the Brain

标题：脑形态保持自回归三维生成模型

摘要：可以使用医学成像数据研究人体解剖学、形态学和相关疾病。然而，由于管理和隐私问题、数据所有权以及采集成本的限制，访问医学成像数据受到限制，从而限制了我们理解人体的能力。解决这个问题的一个可能方案是创建一个能够学习并生成人体合成图像的模型，该模型以特定相关特征（如年龄、性别和疾病状态）为条件。深度生成模型，以神经网络的形式，最近已被用于创建自然场景的合成2D图像。然而，由于数据稀缺和算法计算限制，生成具有正确解剖形态学的高分辨率3D体积成像数据的能力受到阻碍。

本文提出了一个可以扩展的生成模型，能够生成解剖正确、高分辨率和逼真的人脑图像，具备必要的质量以支持进一步的下游分析。生成潜在无限数量的数据的能力不仅使得能够在不危及患者隐私的情况下进行大规模的人体解剖学和病理学研究，而且显著推动了异常检测、模态合成、有限数据学习以及公平和道德人工智能领域的研究。代码：https://github.com/AmigoLab/SynthAnatomy

7. Can Segmentation Models Be Trained with Fully Synthetically Generated Data?

标题：分割模型能否使用完全合成的数据进行训练？

摘要：为了实现良好的性能和泛化能力，医学图像分割模型应在具有足够可变性的大规模数据集上进行训练。由于伦理和管理限制以及标记数据的成本，科学发展经常受到限制，模型通常在有限的数据上进行训练和测试。数据增强通常用于人为增加数据分布的可变性并提高模型的泛化能力。最近的研究探索了用于图像合成的深度生成模型，这种方法可以生成有效无限数量的多样化数据，解决了泛化能力和数据获取问题。然而，许多提出的解决方案限制了用户对生成内容的控制。在这项工作中，我们提出了brainSPADE模型，它将基于扩散的合成标签生成器与语义图像生成器相结合。我们的模型可以按需生成完全合成的脑部标签，包括感兴趣的病理和非病理，并生成对应的任意风格的MRI图像。实验证明，使用brainSPADE合成数据可以训练出与在真实数据上训练的模型性能相媲美的分割模型。

8. Multimodal Super Resolution with Dual Domain Loss and Gradient Guidance

标题：使用双域损失和梯度引导的多模态超分辨率

摘要：空间分辨率在定量评估脑部MRI中的各种结构中起着至关重要的作用。超分辨率（SR）作为一种后处理工具，有望恢复低分辨率（LR）采集中丢失的高频细节，而无需额外的扫描时间。先前的多对比度深度学习SR方法大多是在2D中进行，并且在预上采样或渐进设置中运行。在这里，我们提出了一种基于有效的浅层3D投影的后上采样网络，用于脑部MRI的各向异性SR。该网络使用空间域和频率域中的损失进行优化，以及补充的高分辨率（HR）输入来指导LR输入的SR，并更紧密地集成特征。我们研究了不同的特征聚合策略，如串联和乘法注意力，以及来自HR目标或附加HR输入的梯度引导的好处。模型经过多种数据集的训练和评估，在大约一半的模型参数数量下，与另一个最近开发的多模态SR模型MINet性能相当。该模型在外部测试集上表现良好；在训练期间，LR输入虽然是从HR体积模拟出来的，但在已获取的LR MRI体积上表现令人满意，并导致较低的高频误差范数。从消融研究中，我们注意到，与单模式网络相比，多模式网络显着改善了SR，并且使用串联和乘法注意力进行特征聚合效果相当。我们还强调了来自补充HR输入到SR输出体积的信息泄漏，以及在这种情况下，PSNR和SSIM作为评估指标的有限价值。

9. A Novel Method Combining Global and Local Assessments to Evaluate CBCT-Based Synthetic CTs

标题：一种将全局和局部评估结合起来评估CBCT合成CT的新方法

摘要：深度学习模型越来越多地被用于生成合成图像。基于治疗过程中锥束CT（CBCT）生成的合成CT（sCT）具有适应性放射治疗的潜力，承诺以高质量的方式呈现每日解剖结构，而无需对患者进行额外的成像或剂量。然而，在医学影像中，验证sCT非常具有挑战性，因为精确且适当的真实标准很难得到。目前文献中的全局评估指标无法提供关于合成图像准确性的完整信息。我们引入了一种新方法来评估sCT，利用全局误差评估和局部的逐体素统计评估sCT和当前的真实标准（可变形配准CT）。我们的方法允许识别出个别情况，即sCT可能因随时间变化而提供改进的每日解剖结构表示，同时显示出模型或图像配准表现不佳的区域。我们的方法可以用于指导未来模型的发展，改进模态之间的映射，并帮助确定何时选择sCT用于图像引导放疗，而不是选择现有的标准——可变形配准CT。

10. SuperFormer: Volumetric Transformer Architectures for MRI Super-Resolution

标题：SuperFormer：用于MRI超分辨率的体积Transformer架构

摘要：本文提出了一种使用视觉变换器（ViTs）处理体积医学信息的新框架。首先，我们将最先进的Swin Transformer模型扩展到3D医学领域。其次，我们提出了一种新的方法，在ViTs中处理体积信息并对3D应用进行位置编码。我们实例化了该提出的框架，并呈现了SuperFormer。我们的方法利用MRI领域的3D信息，并使用带有3D相对位置编码的局部自注意机制来恢复解剖细节。此外，我们的方法利用体积和特征领域的多域信息并将它们融合以重建高分辨率MRI。我们在人类连通项目数据集上进行了广泛的验证，并证明了 Volumetric Transformer 优于基于3D CNN的方法。我们的代码在https://github.com/BCV-Uniandes/SuperFormer

11. Evaluating the Performance of StyleGAN2-ADA on Medical Images

标题：评估StyleGAN2-ADA在医学图像上的性能

摘要：虽然生成对抗网络（GANs）在医学影像中显示出潜力，但它们有四个主要限制阻碍了它们的实用性：计算成本、数据要求、可靠的评估指标和训练复杂性。我们的工作针对高分辨率医学影像数据集使用StyleGAN2-ADA来研究这些障碍。我们的数据集包括非对比度和增强型计算机断层扫描（CT）扫描中包含肝脏的轴向切片。此外，我们还利用了四个公共数据集，其中包括不同的成像模式。我们使用从Flickr-Faces-HQ数据集进行迁移学习，并进行数据增强（水平翻转和自适应鉴别器增强）来训练StyleGAN2网络。我们使用Fréchet Inception Distance（FID）定量地评估了网络的生成质量，并通过给七名放射科医生和肿瘤放射治疗专家进行视觉图灵测试来定性评估。

StyleGAN2-ADA网络在我们的肝脏CT数据集上达到了5.22（±0.17）的FID。它还在公开可用的SLIVER07、ChestX-ray14、ACDC和Medical Segmentation Decathlon（脑肿瘤）数据集上创下了10.78、3.52、21.17和5.39的新纪录FID值。在视觉图灵测试中，临床医生将生成的图像评为真实的比例达到了42%，接近随机猜测的水平。我们的计算消融研究表明，迁移学习和数据增强可以稳定训练并提高生成图像的感知质量。我们观察到FID与人类对医学图像的感知评估结果一致。最后，我们的工作发现StyleGAN2-ADA能够持续产生高质量的结果，而无需进行超参数搜索或重新训练。

想要以上所有的论文链接，关注本号并在后台回复SASHIMI2022即可获取。

文章持续更新，可以关注微公【医学图像人工智能实战营】获取最新动态，一个关注于医学图像处理领域前沿科技的公众号。坚持以实践为主，手把手带你做项目，打比赛，写论文。凡原创文章皆提供理论讲解，实验代码，实验数据。只有实践才能成长的更快，关注我们，一起学习进步~

我是Tina, 我们下篇博客见~

白天工作晚上写文，呕心沥血

觉得写的不错的话最后，求点赞，评论，收藏。或者一键三连