深度学习与医学成像

目前深度学习在医学成像中的应用，主要分为以下五种：

（慢慢补充……）
1、第一种是应用最为广泛的图像后处理（post-process），输入传统方法的重构结果然后利用CNN网络进行改进，优点是可以将大量的深度学习在图像领域的工作移植过来，缺点是不能充分利用到原始投影数据。
2、第二种是直接重构，即直接利用神经网络学习投影数据到重构图像之间的映射，该方法可以充分利用到投影数据，该方法往往需要利用全连接层来学习投影数据到重构图像的映射，然而这样的全连接层往往参数量巨大，需要足够大的内存来对存储和训练网络。
3、第三种是学习迭代方案，比如学习迭代过程中的正则化参数，不需要全连接层，缺点是整个过程非常耗费时间。
4、第四种是对投影数据进行预处理，该种方式可以充分利用到投影数据，有效提高重构质量，并且不与前三种方式冲突，可以为重构过程提供一个更好的起点。
5、第五种上述方案以及传统重构方法的混合搭配，值得强调的是，单独的上面的四种方法很少，基本都是第五种，但是一般都有一个侧重点。
下面的介绍的分类依据主要是看以前面四种中的哪一种为主要思想！！！！哪怕它是混合的，也主要看它的创新点在哪一类：

一、图像后处理类

1. (2017) Deep Convolutional Neural Network for Inverse Problems in Imaging [传统的FBP+Unet]
2. (2017) A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction [FBP结果输入，小波变换+CNN残差处理（CNN来对小波系数进行处理）]
3. (2018) Framing U-Net via Deep Convolutional Framelets Application to Sparse-view CT [FBP输入+Unet改进]
4. (2017) Generative Adversarial Networks for Noise Reduction in Low-Dose CT [GAN]
5. (2017) Low-Dose CT With a Residual Encoder-Decoder Convolutional Neural Network [Encoder-Decoder]
6. (2019) Accelerated Correction of Reflection Artifacts by Deep Neural Networks in Photo-Acoustic Tomography [ART的第一次迭代结果作为输入，然后Unet除伪影]
7. (2019) Self-attention convolutional neural network for improved MR image reconstruction [自注意力机制+Unet]
8. (2018) Artificial Neural Network Enhanced Bayesian PET Image Reconstruction [把传统方法重构图像分成很多块，然后送到多层感知机(全连接)里面去。输入针对了不同正则化参数对应的重构图像。]
9. (2018) Compressed Sensing MRI Reconstruction using aGenerative Adversarial Network with a Cyclic Loss [模型方法：利用GAN来提高重建质量，就是让欠采样的数据生成的重构图像和全采样生成的重构图像保持一致，鉴别器鉴别不出来]

二、直接重构类

1. 论文名称及链接：Image reconstruction by domain-transform manifold learning
   这是2018年Nature的一篇封面文章（模型叫AUTOMAP），非常经典：

   • 别人做的视频解说：https://www.bilibili.com/video/av68906795/

   • 应用领域与背景：主要是MRI领域，也同样探究了一下X-ray, PET

   • 主要思想：采用了一个全连接层来进行投影域到图像域的转换，然后通过CNN进行图像矫正处理。

   • 网络模型：
     

   • 优点：提供了一种统一的重构框架

   • 缺点：全连接层的参数量巨大，如果图像是(256,256)大小的即n=256，那么全连接层的参数量就是(65536*2,65536)，通常每个参数量对应四个字节（float32），那就是32GB，如果再加上Adam优化器，还得乘以4，那么就是128GB，还不加上图像自身所在内存以及图像后处理所占显存。因此，可以看出，对显存大小的要求非常非常高！

2. (2019) Learning to Reconstruct Computed Tomography (CT) Images Directly from Sinogram Data under A Variety of Data Acquisition Conditions [通过多个卷积+优化全连接（实际也是卷积，把O(N4)降低为O(N3)）来模拟FBP。每几个卷积层都有特定的任务，比如除噪、稀疏转密集、模拟滤波，每个卷积层后面都会放对应的标签进行训练，比如除噪网络后面就放除噪后的投影数据。训练方法：先分段预训练，后端对端训练.]

3. (2018) Deep Learning Computed Tomography: Learning Projection-Domain Weights from Image Domain in Limited Angle Problems [从投影图到重构图像的重构，CNN+全连接。但是这里的全连接是不必要的，它不参与训练，只是为了得到投影图在重构图像域的损失函数。相当于利用CNN来学习FBP中的斜坡滤波器，不过用的是重构图像域的损失函数来进行反向传播（对应了题目中的从图像域来学习投影域权重）。卷积层好像就简单用的是一个和投影数据维度相同的卷积核，并没有找到更细节的介绍，它主要还做了大量的针对扇形投影数据和锥形投影数据的工作。]

4. (2019) DeepPET: A deep encoder–decoder network for directly solving the PET image reconstruction inverse problem [直接Encoder-Decoder，它也提到了重构图像的一个点对应投影图一条正弦线，所以它说应该增大卷积核尺寸。。。这就好使啦？？？？]

5. (2020) Y-Net: A Hybrid Deep Learning Reconstruction Framework for Photoacoustic Imaging in vivo [先把传感器采集到的数据利用DAS进行初步成像，然后再把成像结果不断卷积上下采样（有点像U-net但是不一样）然后再把传感器采集到的数据进行多次卷积然后resize成图像大小，然后和初步成像结果卷积后的图像在不同尺度下相结合，最后得到结果。]

三、学习迭代类

1. Deep ADMM-Net for Compressive Sensing MRI
2. Learning a Variational Network for Reconstruction of Accelerated MRI Data
3. ACCELERATING MAGNETIC RESONANCE IMAGING VIA DEEP LEARNING
4. Iterative PET Image Reconstruction Using Convolutional Neural Network Representation
5. Iterative Low-Dose CT Reconstruction With Priors T rained by Artificial Neural Network
6. MoDL: Model Based Deep Learning Architecture for Inverse Problems
7. A Deep Cascade of Convolutional Neural Networks for Dynamic MR Image Reconstruction
8. CNN-Based Projected Gradient Descent for Consistent CT Image Reconstruction
9. LEARN: Learned Experts’ Assessment-Based Reconstruction Network for Sparse-Data CT
10. Statistical Iterative CBCT Reconstruction Based on Neural Network
11. Intelligent parameter tuning in optimization-based iterative CT reconstruction via deep reinforcement learning

四、投影数据预处理

1. k-Space Deep Learning for Accelerated MRI
2. Deep-neural-network based sinogram synthesis for sparse-view CT image reconstruction
3. Deep Learning Based Sinogram Correction for Metal Artifact
4. k‐Space deep learning for reference‐free EPI ghost correction

五、混合类

1. Y-Net- A Hybrid Deep Learning Reconstruction Framework for Photoacoustic Imaging in vivo(Hengrong Lan2019)
2. Dual-domain cascade of U-nets for multi-channel magnetic resonance image reconstruction