MRI重建综述

1. MRI重建：

1.1 问题描述

MRI图像重建可以用方程进行近似：  

Fx+ϵ=y

其中: x∈CN 表示想要重建的图像，y∈CM 表示观测的图像，ϵ∈CM 表示噪声图像。F∈CM×N 是我们想要学习的矩阵，表示F:CN→CM一种映射关系。因为M<<N 所以上述公式求解F是一个病态问题，所以上面方面是不可以直接求解的。

 

1.2 基于CS-MRI的重建算法

1.2.1 基本思想

公式表达: 

minx12∥FuX−y∥22+λR(x)

其中minx12∥FuX−y∥22 是数据保真项， Fu∈CM×N 是欠采样的傅里叶编码矩阵，R 代表着x的正则项，λ 平衡数据保真项和正则项的因子，正则项R往往是x某个稀疏域的lp 范数，比如l1、l2 范数。

 

1.2.2 常见的一些算法：

1. 一开始MRI重建算法从最开始设计快速序列出发，诸如FSE、GRE、FSPGR、FMPGR等其他序列。
2. 随后发展出来并行核磁共振成像(PMRI)算法，主要思想是利用多个线圈同时进行成像，主要的算法有SMASH、GRAPPA算法。
3. 随着陶哲轩 等人提出的压缩感知方法，迅速将CS理论应用理论MRI重建中，突破了奈奎斯特定律的限制, 具有良好的数学证明，只要满足有限等距条件(RIP)就可以使用。在CS-MRI的大框架之下，涌现了一大批算法，主要研究的方向大概有两点。一是寻找合适的稀疏基，比如小波、TV、双树小波等。二是尽可能的利用图像的先验信息,比如支撑集、低秩特征、空间平缓性。自己所遇到的一些常见的包括了ADMM、TV、ISTA、DL-MRI、BM3D-MRI、OMP、k-t SLR、RPCA 、L+S、BCS 等方法，包含静态MRI和动态MRI,但其实算法还有很多很多。

自从深度学习出来之后，上述的方法都被称为了传统方法，不得不说深度学习还是太强大！在很多的深度学习重建MRI提出了上述传统方法的不足之处，大概有以下几点：

1. 传统的CS-MRI要求采集矩阵和稀疏变换矩阵是不相关的，才可以使用CS-MRI理论，这个在实际中往往条件有点苛刻。
2. 稀疏基往往太过于简单去捕捉非常复杂的图像组织。
3. 这些方法往往都是求解优化问题，而且往往是非凸的，往往需要进行大量的迭代运算，不能够达到实时性的效果。
4. 在CS-MRI中不合适的超参数预测往往会导致图像产生过于平滑以及不自然。

基于以上几个限制，MRI加速倍数在×2到×6之间。 

1.3 基于深度学习的MRI重建算法

1.3.1 基本思想

公式表达： 

minx12∥FuX−y∥22+λR(x)+ξ∥∥x−fcnn(xu|θ^)∥∥22

其中 fcnn 是以参数θ 正向传播的网络，ξ 是另一个正则化因子，xu=FHuy 是从欠采样的k空间直接傅里叶反变换得到的零填充图像数据，θ^是CNN网络训练得到的最好的参数。主要的思想如下图所示： 

 

1.3.2 常见的一些算法：

将深度学习应用到MRI重建中时间也不长，最早的文章是2016的一篇文章Accelerating magnetic resonance imaging via deep learning[1]作者将CNN网络利用MRI中，建立0填充图像到groud truth之间映射。这也算是开篇之作了。随后出现了cascade CNN [2]将多个CNN网络级联起来进行重建。西安交通大学的ADMM-Net [3]网络，将ADMM算法和CNN联合起来进行重建。帝国理工大学的DAGAN网络[4]，将GAN的思想运用了MRI重建当中，生成器网络使用了u-net的思想，判别器网络使用了DCGAN的网络，另外也将图像损失、频率损失、对抗损失、感受损失联合起来了，其中这里的感受损失在2016的ECCV[5]李菲菲实验室已经提出来了，作者就很好的使用了，所以说关注一些新的SR进展是多么重要。随后出现的GANCS网络[6]， 作者将LSGAN和CycleGAN思想完美的融合在一起，另外将k空间数据实部和虚部变成双通道同时送入网络进行训练。与此同时出现了RefineGAN[7]引入了CycleGAN的相关思想。在2016还出现了Multi-GPU[8]训练以及3D卷积稀疏编码[9]应用到MRI重建当中。另外2017年一篇文章[10]在欠采样的k空间加入了一些低频噪声这样有利于进行异常点准确重建。也出现了Transfer learning应用到MRI重建过程中[11]，网络先在image-net上面进行训练，然后在T1、T2上面进行fine-tuning这样针对数据少的时候更少的减少过拟合。另一方面，发表在2018AAAI一篇文章RDN[12]将递归学习、空洞卷积、残差学习很好的结合在一起，取得了不错的效果。最近出现的ISTA-Net[13]和DR2-Net[14]也是MRI重建的一些方法。另外，最新的一些方向也有利用3D[15]、[16]方法进行MRI重建的。

接下来放一些深度学习重建的效果图： 
DAGAN重建： 


RDN重建效果： 

1.4 一些展望

深度学习将传统的迭代所耗费的时间变成了训练时间和测试时间，往往训练时间需要好几天，但是重建一幅图像的时间(测试时间)往往可以达到10ms，这个速度确实可以达到实时性的效果。目前的MRI设备仍然使用PMRI成像以及直接将k空间的数据反变换成图像数据。压缩感知的虽然数学表达上非常完美，但是将其应用到MRI设备上好像还很难。虽然深度学习取得了很不错的效果，无论是在重建质量还是在重建速度上。但是有一个问题上深度学习的网络往往比较大，往往都是在服务器上的，那么部署到本地是一个问题，需要轻量级的网络结构以及相互配套的序列等一系列问题，同时对于人来说，具有不同的结构组织往往需要重新训练，深度学习还不能针对所有情况。另外，深度学习往往需要大量的数据进行训练，而某些时候由于隐私等其他情况数据并不是那么容易获得的。从这里看，想要将深度学习应用到MRI重建中，还有很长一段路要走。不过以上都是自己的一些见解，可能有失偏颇，恳请指正。

参考文献

1. Accelerating magnetic resonance imaging via deep learning
2. A Deep Cascade of Convolutional NeuralNetworks for MR Image Reconstruction
3. ADMM-Net: A Deep Learning Approach for Compressive Sensing MRI
4. Deep De-Aliasing for Fast Compressive Sensing MRI
5. PerceptualLosses for Real-Time Style Transfer and Super-Resolution
6. Deep Generative Adversarial Networks for Compressed Sensing (GANCS) Automates MRI
7. Compressed Sensing MRI Reconstruction with Cyclic Loss in Generative Adversarial Networks
8. Multi-GPU Reconstruction of Dynamic Compressed Sensing MRI
9. Compressed sensing dynamic MRI reconstruction using GPU-accelerated 3D convolutional sparse coding
10. Deep learning for undersampled MRI reconstruction
11. A Transfer-Learning Approachfor Accelerated MRIusing Deep Neural Networks
12. Compressed Sensing MRI Using a Recursive Dilated Network
13. STA-Net: Iterative Shrinkage-Thresholding Algorithm InspiredDeep Network for Image Compressive Sensing
14. DR2-Net: Deep Residual Reconstruction Network for Image Compressive Sensing
15. Brain MRI super-resolution using deep 3D convolutional networks
16. Multi-scale brain MRI super-resolution using deep 3D convolutional networks