2021-8-14-Deep MR to CT Synthesis using Unpaired Data(MICCAI Workshop 2017)-有代码

CycleGAN的代码链接：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

这篇文章是做什么的：MR模态合成CT模态

是否需要数据配准：不需要

是基于2D还是3D: sagittal 2D image slices(矢状二维图像切片)

目录

---文章的motivation---

---方法发展过程---

---数据描述----

---方法---

--- 评价指标---

---实验和结果---

---结论---

---

---文章的motivation---

单独获取MRI或者CT图像具有耗时、昂贵、给患者带来负担的局限性。所以提出了合成的方法。当前MR到CT合成的深度学习方法依赖于同一患者的成对对齐的MR和CT训练图像。但是，成对图像之间的不对齐可能导致合成错误的CT图像，另外，获取成对数据具有一定的代价。为了解决这个问题，这篇文章提出训练一个具有不成对MR和CT图像的生成性对抗网络（GAN）。用循环一致性损失训练由两个合成卷积神经网络（CNN）和两个鉴别器CNN组成的GAN，将2D脑MR图像切片转换为2D脑CT图像切片，反之亦然。

---方法发展过程---

先前提出的方法使用卷积神经网络（CNN）在大脑[4]和骨盆区域(pelvic area)[8]进行CT合成。CNN通过最小化与输入MR图像严格对齐的参考CT体积的体素损失来训练。但是，MR和CT图像的轻微体素错位可能导致合成模糊图像。

为了解决这个问题，Nie等人[9]提出在生成性对抗网络（GAN）[3]中结合体素损失(voxel-wise loss)和图像对抗损失。

尽管Nie等人[9]的GAN方法通过结合图像对抗损失解决了图像不对齐问题，但它仍然包含体素损失，所以需要成对MR和CT的训练集。在实际应用中，这样的训练集可能很难获得。此外，鉴于训练数据的稀缺性(scarcity)，利用来自出于不同目的进行扫描的患者的额外MR或CT训练volumes可可以增加数据量。使用未配对的MR和CT训练数据将放宽当前基于深度学习的CT合成的许多要求（图1）。