ADVERSARIAL INPAINTING OF MEDICAL IMAGE MODALITIES

Karim Armanious1,2, Youssef Mecky1,3, Sergios Gatidis2, Bin Yang11University of Stuttgart, Institute of Signal Processing and System Theory, Stuttgart, Germany2University of T ̈ubingen, Department of Radiology, T ̈ubingen, Germany3German University in Cairo, Faculty of Information Engineering and Technology, Cairo, Egypt

许多因素可能导致医学图像的部分恶化。例如，金属植入物将导致MRI扫描中的局部扰动。这将影响进一步的后处理任务，例如 PET/MRI 中的衰减校正或放射治疗计划。在这项工作中，我们提出了通过生成对抗网络 (GAN) 修复医学图像。所提出的框架结合了两个基于补丁的鉴别器网络，该网络具有额外的风格和感知损失，以真实详细和上下文一致的方式修复缺失的信息。所提出的框架在两种不同的医学模式上定性和定量地优于其他自然图像修复技术。

模型构成：

1.1条件生成对抗网络

cGAN框架由两个卷积网络、生成器G和全局鉴别器D[18]组成。在所提出的框架中，G 接收上下文图像 y 作为输入。这是一个大小为 256 × 256 的 2D 医学图像，随机裁剪的正方形区域大小为 64 × 64。因此，图像的缺失部分是原始图像大小的 1/16。

1.2基于patch的局部鉴别器

使用局部判别器，基于patch，对原始图像以及生成图像进行局部判别

1.3非对抗性损失部分

主要包括样式重建损失+感知损失

最终损失函数：

模型结果：

在这项工作中，我们引入了医学图像的修复来完成缺失或失真的信息。这有利于进一步的图像后处理任务，例如 PET/MRI 衰减校正和放射治疗计划，而不是诊断目的。为了实现这一目标，提出了一个对抗性框架，该框架结合了两个基于补丁的鉴别器网络和额外的非对抗性损失。它确保在给定的上下文信息中，内绘结果既详细又全局一致。与其他自然图像修复技术相比，该框架的性能在定性和定量上都得到了验证。未来，我们计划扩展所提出的框架以包括一个分割网络，以绕过在训练期间手动定位缺失区域的需要。此外，我们计划研究所提出模型的泛化性能以修复任意形状。最后，与其他传统方法相比，将彻底研究内绘结果在进一步的临床后处理任务中的性能验证。