ADN: Artifact Disentanglement Network for Unsupervised Metal Artifact Reduction

由于本人刚接触MAR领域，有错误之处，烦请指出，十分感谢。

---

文章简述

该文章是第一篇无监督去除金属伪影的方法：

LIAO, HAOFU, LIN, WEI-AN, ZHOU, S. KEVIN, et al. ADN: Artifact Disentanglement Network for Unsupervised Metal Artifact Reduction[J]. IEEE Transactions on Medical Imaging,2020(3). DOI:10.1109/TMI.2019.2933425.

文章贡献：提出无监督网络——伪影分离网络ADN去除伪影，该网络可以从潜在空间的CT图像中分离金属伪影。ADN支持不同形式的生成（伪影减少、伪影转移和自我重建），可以避免使用合成数据进行监督。

---

一、前言

（一）动机

为什么提出无监督去除金属伪影？
因为有监督方法需要用到成对的图像，即不含金属伪影的图像(artifact-free image)和含金属伪影的图像(artifact-affected image)。而在临床中，获得足够的成对图像是十分困难的，因此之前有很多工作都是基于合成伪影图像来进行有监督学习，但是这些合成伪影图像不一定能够真实的反应金属伪影的属性，这也导致有监督方法在临床应用中的性能往往会下降。

（二）解决思路

将任何受金属伪影影响的图像（artifact-affected image)都由伪影部分（即金属伪影，噪声等）和内容部分（即解剖结构）组成，如下图所示。然后在潜在空间将这两个部分进行分离，从而完成伪影的去除。
具体地，将CT图像分为两组，一组有金属伪影，一组没有金属伪影。通过引入一种诱导性偏差（inductive bias)，模型通过比较这两组的内在信息分离伪影。

上图中，I^a表示的是含金属伪影的集合(artifact-affected domain)，I 表示的是不含金属伪影的集合(artifact-free domain)，x^a,y^a 指含金属伪影的图像; x, y 指不含金属伪影的图像。A和C分别表示伪影部分和内容部分，由于x^a 含金属伪影，因此可以将它映射到A和C；由于x不含金属伪影，因此只能将它映射到C。

二、方法

题外话：金属伪影去除也可以被认为是image-to-image translation. 最早的广为认知的无监督学习的image-to-image translation方法是CycleGAN.

（一）总体框架

上图为伪影分离网络（ADN）的总体框架图，x^a 和 y 分别来自含金属伪影的图像和不含金属伪影的图像，这两者作为输入，ADN支持 I^a 和 I 之间的相互转换。

假设成对图像可以用以下式子表示：

那么 f 就表示从含金属伪影空间到不含金属伪影空间的映射关系，即去除金属伪影部分，在这篇文章中，作者没有用成对的图像来寻找这种映射关系，而是用不成对的图像进行学习。

如图1所示，由于x^a 含有金属伪影，因此可以将它编码至A空间和C空间，就有 c_x 属于C空间，理想状态下，c_x 不包含金属伪影，并且应该囊括图像所有的结构信息。因此对 c_x 进行解码就可以得到不含金属伪影的图像 x。另一方面，可以把不含金属伪影的图像 y 编码到C空间，称为 c_y（无法编码到A，因为本身不含金属伪影），再将 c_y 和A空间的信息 a 同时进行解码，就可以得到含金属伪影的图像 y^a。

（二）encoder-decoder

核心：encoder将图像从图像域映射到潜在空间，decoder将code从潜在空间映射回图像域。

为了完成图像到伪影域A和内容域C之间的相互转换，主要有下述encoder和decoder：

1. 对于伪影图像：编码器E^c_Ia 将伪影图像 x^a 编码到C空间，得到仅含图像解剖结构的c_x，再通过生成器G_I将c_x解码，可生成得到无伪影的图像ˆx；此外，有E^a_Ia将伪影图像编码到A空间，得到仅含伪影部分的 a。
2. 对于无伪影图像：编码器E_I将无伪影图像y编码到C空间，得到c_y，再通过生成器G_I将c_y解码，得到不含金属伪影的ˆy，此过程实际为图像 y 的重建。
3. 上述解释了 x^a 图像去除伪影后得到图像 ˆx 和 y 图像重建得到 ˆy 的过程。而对于ˆx^a的生成，则是通过x^a在伪影域和内容域的信息（分别为a和c_x）共同进行编码实现的，由于ˆx^a 本身包含伪影信息和内容信息，此过程只是x^a的自我重建；而对于ˆy^a ，则是通过x^a在伪影域的信息和 y在内容域的信息（分别为 a 和 c_y）共同进行编码实现，此过程给图像y添加了伪影。

用公式表示为：

x^a 和 y 分别表示含金属伪影的图像和不含金属伪影的图像，E^c_Ia表示将含金属伪影的图像编码至内容域C，E^a_Ia表示将含金属伪影的图像编码至伪影域A，E_I表示将不含金属伪影的图像编码至内容域C。

第一个式子表示利用x^a的内容信息c_x和伪影信息a重新生成图像；第二个式子表示利用y的内容信息c_y和x^a的伪影信息a重新生成图像。

上述表示重新对仅含解剖结构的信息（不含伪影信息）重新进行解码，得到不含金属伪影的图像。

上述表示将含有金属伪影的图像 ˆy^a 编码至C空间，并进行重建。

（三）损失函数

对于此网络，实际上完成金属伪影去除只需要以下这一条路线（称为translation)：

然而，由于没有成对的数据，这一过程是十分困难的，因此需要用的剩下的途径来约束这一转换，从而消除成对数据的要求。
而约束这一转换，便需要用到其他路径的损失函数，损失函数与图像之间的关系如下图所示：

以上共包括5种损失，分别为2种对抗损失，伪影一致性损失 L_art ，重建损失 L_rec，自还原损失 L_self/L_cycle ，总损失如下式所示：

1. 对抗损失

x^a生成得到不含金属伪影的图像 ˆx，y生成得到含金属伪影的图像 ˆy^a，可借鉴于对抗生成的视角，求得它们的对抗损失，即：

2. 重建损失

重建损失就是把x^a图像和y图像进行重建，这是为了避免在编码和解码过程中出现信息丢失或引入二次伪影。

3.伪影一致性损失

对抗性损失鼓励 ˆx与 I 中的样本相似，但这样只能保证 ˆx 的解剖结构合理，但可能并不精确，因此引入伪影一致性损失，使图像不论是否存在金属伪影都是相似的。

4. 自还原损失

y的自还原损失，即从添加金属伪影，到去除伪影，这一还原过程。

（四）网络结构

该网络包含五种不同类型的模块。

残差、下采样和上采样块是编码器和解码器的核心块。下采样块（图4b）使用跨步卷积来降低特征映射的维数，以提高计算效率。与最大池层相比，步进卷积自适应地选择用于下采样的特征，这对生成模型显示了更好的性能。
剩余块（图4a）包括剩余连接，以允许在计算高级特征时考虑低级特征。这种设计显示了深层神经网络的更好性能。上采样块（图4c）将特征映射转换回其原始尺寸，以生成最终输出。此外，使用上采样层（最近邻插值）和卷积层进行上采样。选择这种设计，而不是反褶积层，以避免“棋盘”效应。编码器和解码器块中所有卷积层的填充都是反射填充。它在生成的图像边缘提供了更好的效果。
伪影金字塔解码（APD）：基于金属信息和内容信息合成含金属伪影的图像，从而有效低恢复伪影的细节。其结构如下图所示：

三、实验

(一）对比实验

该方法与以下方法进行了比较：

(1) 传统方法：

1. LI：
   W. A. Kalender, R. Hebel, and J. Ebersberger, “Reduction of ct artifactscaused by metallic implants.”Radiology, vol. 164, no. 2, pp. 576–577,1987.
2. NMAR：
   E. Meyer, R. Raupach, M. Lell, B. Schmidt, and M. Kachelrieß, “Normalized metal artifact reduction (nmar) in computed tomography,” Medical physics, 2010.

(2) 有监督深度学习：

3. CNNMAR：
   Y . Zhang and H. Y u, “Convolutional neural network based metal artifact reduction in x-ray computed tomography,” IEEE Trans. Med. Imaging, vol. 37, no. 6, pp. 1370–1381, 2018.
4. UNet:
   O. Ronneberger, P . Fischer, and T. Brox, “U-net: Convolutional networksfor biomedical image segmentation,” inInternational Conference on Medical image computing and computer-assisted intervention, 2015.
5. cGANMAR
   J. Wang, Y . Zhao, J. H. Noble, and B. M. Dawant, “Conditional generative adversarial networks for metal artifact reduction in ct images of the ear,” inMedical Image Computing and Computer Assisted Intervention MICCAI 2018, 2018.

(3) 无监督深度学习：

6. CycleGAN：
   J.-Y . Zhu, T. Park, P . Isola, and A. A. Efros, “Unpaired image-to-image translation using cycle-consistent adversarial networks,” inThe IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2017.
7. MUNIT：
   X. Huang, M. Liu, S. J. Belongie, and J. Kautz, “Multimodal unsupervised image-to-image translation,” inComputer Vision - ECCV 2018, 2018.
8. DRIT：
   H. Lee, H. Tseng, J. Huang, M. Singh, and M. Yang, “Diverse image-to-image translation via disentangled representations,” inComputer Vision- ECCV 2018, 2018.
9. DIP：
   D. Ulyanov, A. V edaldi, and V . S. Lempitsky, “Deep image prior,” inThe IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.

（二）实验数据

该文章在一个合成数据集和两个临床数据集上评估了所提出的方法，分别将它们称为SYN、CL1和CL2。对于SYN数据，从DeepDescence中随机选择4118个无伪影的CT图像，并按照CNNMAR中的方法合成金属伪影。对于CL1和CL2数据集，分别将它们分为两组，即含金属伪影和不含金属伪影。

注意：对于LI，MAR和CNNMAR方法，需要用到投影数据，由于SYN，CL1和CL2都不具有投影数据，因此借鉴于CNNMAR文章中的方法，直接用正投影合成投影数据。

（三）实验结果

以下为SYN数据集的结果：

CL1和CL2数据集的结果：

CL1的定性评估结果如图7所示。在这里，所有受监督的方法都使用从CL1的无伪影组合成的成对图像进行训练。可以看到，当应用于临床图像时，UNet和cGANMAR不能很好地推广（图7f和7G）。LI、NMAR和CNNMAR在纠正投影域中的伪影时更具有鲁棒性。然而，投影域校正也引入了二次伪影（图7c、7d和7e）。对于更具挑战性的CL2数据集（图8），所有有监督的方法都失败了。因为由于缺乏无伪影的CBCT图像，监督方法仅使用CT图像进行训练。由于CL2的金属植入物不在成像视野内，因此没有可用的金属痕迹，并且基于投影插值的方法不起作用（图8c、8d和8e）。与SYN的情况类似，在CL1和CL2数据集上评估时，其他无监督方法也表现出较差的性能。相比之下，ADN在不引入二次伪影的情况下显著去除了暗阴影和条纹。

消融实验：

关于损失函数的消融实验，从下图可以看出包含4种损失的PSNR和SSIM最高，网络性能更好。