A Hybrid, Dual Domain, Cascade of Convolutional Neural Networks for MR Image Reconstruction

用于核磁共振影像重建的双域混合学习级联卷积网络

1. 论文信息

论文标题： A Hybrid, Dual Domain, Cascade of Convolutional Neural Networks for Magnetic Resonance Image Reconstruction

论文来源： MIDL 2019

论文链接： http://proceedings.mlr.press/v102/souza19a/souza19a.pdf

代码来源： https://github.com/rmsouza01/CD-Deep-Cascade-MR-Reconstruction

2. 背景梳理

核磁共振成像(Magnetic Resonance Imaging, MRI)是一种重要的医疗影像技术，相比于其他医学成像，MRI对于人体内软组织可以呈现更高的对比度和清晰度，因此得到了广泛应用。

MRI最主要的缺点在于其本身在频域(又称K空间)中采集数据的速度非常缓慢，采集时间和K空间的采样率成正比。因此，一种可行的加速思路即在K空间中进行欠采样，然而这又会导致重建后的图像质量下降。针对这一问题的传统解决方案如压缩感知(Compressed Sensing, CS)可以从欠采样的数据(低于奈奎斯特采样定理)中重建出高质量的图像。近年来又有大量基于深度学习的MRI重建算法被提出，然而绝大多数都是基于图像域优化成像，减少欠采样数据经过填0补充重建(zero-filled reconstruction)后图像的混叠(aliasing)，而频域信息没有得到充分的利用。

3. 主要贡献

本文提出了一种基于图像域和频域信息混合学习的级联卷积神经网络，采用端到端的训练方式。实验结果表明，相比另外5种基于深度学习的MRI重建算法，本文提出的算法取得了显著的进步。

4. 基于图像域和频域信息混合学习的级联卷积神经网络

本文提出了一种基于图像域和频域信息混合学习的级联卷积神经网络(记作Hybrid Cascade)，它由6个结构相同的CNN block组成，对图像域和频域信息交替进行卷积处理；在相邻的CNN block间插入了Data Consistency Layer(DC Layer)；网络的输入是经过填0重建得到的双通道复数表示的图像，其中一个通道存储实数部分，另一个通道存储虚数部分；网络的输出是经过重建后的图像域成像。

网络的损失函数定义为模型最后输出与groundtruth间的均方误差。

Hybrid Cascade模型结构

4.1 CNN Blocks

模型中的6个CNN block结构与图像域、频域无关，统一采用了5层卷积层；前4层的卷积层各由48个3x3的卷积核组成，激活函数采用Leaky ReLu；最后一层卷积层使用2个3x3的卷积核和线性激活函数，使得输出依然保持了双通道；由于没有池化层，所有CNN block的输入与输出在维度上保持了一致，同时采用了残差连接。

与其他混合域学习的模型[1]不同，本文将第一个CNN block放在了图像域中。原因是：在欠采样过程中，K空间的高频信息常常被大量忽略，因此如果对频域数据做卷积，很可能会有一些区域的信号都是0(由于对未采样区域填0)，而卷积得不到任何有用信息。这就需要更大的感受野和更深的卷积网络，会增大重建的时间；相反，如果在图像域中作卷积，网络的输出将会有一个相应的“完整”频域数据。

文中采用的欠采样模型

4.2 Data Consistency Layer

考虑到在欠采样过程中，有一些位置的数据是真实获取的，因此不应该在后续的卷积中被轻易修改。基于这一点考虑，模型在卷积核之间加入了DC Layer[2]。

将K空间中采样到的位置集合表示为$\Omega$，欠采样得到的数据表示为$s_o$，CNN重建结果在频域中表示为$s_{cnn}$，假定要重建的图像在频域中有解$s_{rec}$：

KaTeX parse error: Undefined control sequence: \bbox at position 1: \̲b̲b̲o̲x̲[white, 3px]{s_…

对此的解释是：如果$s_{rec}(x,y)$在空间中原本是未知/未被采样到的，则使用CNN预测的结果；对于已经被采样到的部分，使用CNN预测值与初始采样值的线性组合，其中$\lambda$表示了$s_o$的采集噪声程度。当$\lambda \to \infty$，可以认为直接用采样值代替CNN预测值；当噪声不可被忽略时，在实际操作中可将$\lambda$设定为固定值或可训练参数。

DC Layer以及前后所需的傅里叶变换、反傅里叶变换操作是符合反向传播算法的，不会影响端到端训练，在最早提出DC Layer的论文中有证明[2]。

5 实验

5.1 实验设定

• 数据：实验采用了Calgary-Campinas脑部MR图像数据集(https://sites.google.com/view/calgary-campinas-dataset/home)，该数据集包含了45个对象共7924张切片，采用12通道单线圈(single-coil)全采样得到。本文用高斯采样模型，分别在20%和25%两种采样率下处理原始数据，模拟欠采样下的数据。

• 指标：本文取normalized mean squared error(NRMSE)，PSNR和Structural Similarity(SSIM)作为评估指标。

• Baseline：选取KIKI-net[1]，DAGAN[3]，RefineGAN[4]，W-net[5]和Deep-Cascade[2]对比。

5.2 实验结果与讨论

• 结果表明，Hybrid-Cascade在两种采样率和三项指标上都领先了其他baseline

  

  与其余baseline的表现对比

• 值得一提的是，指标排名在前的Hybrid-Cascade, KIKI-netlike和Deep-Cascade都采用了“展开式”结构(unrolled structures)并结合了DC Layer，并没有通过池化使得中间输出的尺寸缩小/扩大；而DAGAN, RefineGAN和W-net都采用了Unet或其变种结构。

• 从样例图像来看，视觉上Hybrid-Cascade, KIKI-netlike和Deep-Cascade的重建结果同样更接近于全采样下的参考图像。

输出样例

• 理想情况下，级联的结构不仅可以在中间输出上增加约束，还可以实现渐进式的优化。从每个CNN block的实际输出表现来看，填0重建得到的输入NRMSE达到了14.76%，随后一直下降直到第4个CNN block有所上升，随后在最后一个block下降，出现了小幅震荡。

每个CNN block的输出表现

• 另外，Hybrid-Cascade第一个图像域的CNN block输出NRMSE为2.0%，KIKI-net第一个频域CNN block输出NRMSE为1.4%，证实了前文观点。

6 参考文献

[1] Taejoon Eo, Yohan Jun, Taeseong Kim, Jinseong Jang, Ho-Joon Lee, and Dosik Hwang, “Kikinet: cross-domain convolutional neural networks for reconstructing undersampled magnetic resonance images”, Magnetic resonance in medicine, 2018

[2] Jo Schlemper, Jose Caballero, Joseph V Hajnal, Anthony N Price, and Daniel Rueckert, “A deep cascade of convolutional neural networks for dynamic mr image reconstruction”, IEEE Transactions on Medical Imaging(TMI), 2018

[3] Guang Yang, Simiao Yu, Hao Dong, Greg Slabaugh, Pier Luigi Dragotti, Xujiong Ye, Fangde Liu, Simon Arridge, Jennifer Keegan, and Yike Guo, “DAGAN: Deep de-aliasing generative adver- sarial networks for fast compressed sensing MRI reconstruction”, IEEE Transactions on Medical Imaging(TMI), 2018

[4] Tran Minh Quan, Thanh Nguyen-Duc, and Won-Ki Jeong, “Compressed sensing MRI reconstruction using a generative adversarial network with a cyclic loss”, IEEE Transactions on Medical Imaging(TMI), 2018

[5] Roberto Souza and Richard Frayne, “A hybrid frequency-domain/image-domain deep network for magnetic resonance image reconstruction”, arXiv preprint arXiv:1810.12473, 2018.