【医学图像智能计算】DL在医学影像中的应用综述—图像重建

ShiTianL

已于 2022-10-03 23:04:45 修改

阅读量1.9k

点赞数 1

分类专栏：医学图像智能计算深度学习图像处理文章标签：计算机视觉人工智能图像处理超分辨率重建健康医疗

于 2022-10-03 23:01:19 首次发布

本文链接：https://blog.csdn.net/weixin_40629850/article/details/127156810

版权

深度学习图像处理同时被 2 个专栏收录

15 篇文章 7 订阅

订阅专栏

医学图像智能计算

5 篇文章 0 订阅

订阅专栏

1. 图像重建

1.1 基于深度学习的MRI图像重建

1.1.1 基于数据驱动的端到端深度学习MRI重建方法

1.1.2 基于先验模型的深度学习MRI重建方法

1.3.1 基于深度学习的传统B型超声成像方法

1.3.2 基于深度学习的平面波超声成像方法

1.3.3 基于深度学习的超声弹性成像方法

本文以临床常用的 X 射线、超声、计算机断层扫描和磁共振等4 种影像为例，对深度学习在医学影像中的应用现状进行综述，特别面向图像重建、病灶检测、图像分割、图像配准和计算机辅助诊断这5大任务的主要深度学习方法的进展进行介绍，并对发展趋势进行展望

1. 图像重建

人工智能技术应用于图像重建，具有降低扫描成本、提高图像质量、加快成像速度等优点。

1.1 基于深度学习的MRI图像重建

传统MRI加速倍数低、迭代重建时间长、参数选择困难以及计算复杂度高，DL可以自动地从大量数据中学习特征表达，实现高度非线性的映射，2016年首次将DL引入到快速MRI重建中

1.1.1 基于数据驱动的端到端深度学习MRI重建方法

重点在于利用深度学习网络学习欠采样数据到全采样数据( k 空间或图像) 的端到端映射关系。目前常用于MRI重建的网络结构有 U-Net、GAN、Cascade Net 、DeepcomplexMRI、ResNet和 AUTO-MAP等。

基于级联CNN的MRI重建

通过CNN模块对输入的降采样MR图像帧进行重建，通过数据异质性模块DC在网络中融合图像在K空间的频域信息以辅助重建，两种模块以循环方式进行级联，所以整个网络可以通过端到端的方式来重建。这样级联模式的优点在于网络的复杂度可以根据数据量的大小而调节。

研究结果表明该算法的重建性能明显优于字典学习和压缩感知等传统方法，在重建误差与重建速度上都显著提升。同时该算法通过不同MR图像帧之间的参数共享，充分利用了动态图像序列中的空间相关性，因而在多帧MR图像序列的联合重建中也表现出了优异的性能

基于复数域CNN的MRI重建

MRI原理决定了扫描获得的原始数据是以复数形式构成。然而，目前基于深度学习的MRI重建方法一般仅利用幅值信息，或者是将复数MR图像的实部和虚部均视为两通道的实值数据，执行实数积，从而忽略了实部和虚部之间的相关性。

Wang 等人( 2020) 提出了一种基于复数卷积的残差网络( DeepcomplexMRI) 用于并行MRI重建。该网络利用 MR图像中实部和虚部之间的相关性，考虑k空间数据的拟合项，不需要额外地计算线圈灵敏度信息，可以自动学习跨通道的图像相关性

1.1.2 基于先验模型的深度学习MRI重建方法

将传统的MRI重建模型与深度学习相结合，通过对优化算法进行网络化，从而学习重建模型的最优参数，而不是单纯地进行图像之间的映射，增加模型的泛化能力，减少对训练数据的需求。其中的典型算法包括交替方向乘子法 (ADMM) (2016) 、基于模型的深度学习(MoDL) (2019) 、变分网络(VN-Net) (2018) 和卷积去混叠网络 (2020) 等。

基于交替方向乘子法的MRI重建

该方法是一个定义在数据流图上的深度架构。成像模型的ADMM迭代过程展开为以下网络架构，成像模型和迭代算法的未知参数均转化为该网络的参数。在训练阶段，该算法使用L-BFGS算法对网络中所有参数进行端到端训练。在测试阶段，所学习的ADMM-Net具有类似于ADMM算法的计算开销，但是使用训练数据中学习到的参数进行基于压缩感知的核磁共振图像重建，即在k空间中以不同的欠采样率进行MRI图像重建。该方法是第一个将模型驱动的ADMM优化算法映射为可学习的深度网络架构的计算新框架

卷积去混叠网络用于并行MRI重建

2019年出现了一种基于CNN模型优化的并行MRI图像重建算法（ConvDe-AliasingNet），能充分利用并行MR图像的特点，即在空间域和线圈间具有冗余和相关的信息。橙色箭头表示通过前向传播重建下采样k空间数据的过程，绿色箭头表示反向传播更新参数。

该算法是对分裂伯格曼迭代算法进行网格化得到的。其中一次迭代拆分为图中蓝色标识的6层网络，网络输入为下采样的k空间数据。经过多次迭代，即可获得高质量的重建结果。

与经典的并行MRI方法，如敏感度编码、广义自动校准部分并行采集、以及并行图像重建等相比，该算法的加速倍数更高、重建速度更快。传统的并行重建算法，一般加速倍数为2到5倍，而该算法在不影响医生诊断的条件下，加速倍数可达到9倍，而且图像重建质量明显优于经典的并行MRI重建方法；与目前流行的端到端的深度学习方法相比，该算法在训练过程中不需要大数据量，且网络的稳定性比较好，泛化能力也比较强；同时与基于模型的深度学习并行MRI重建相比，该模型不需要计算线圈敏感度图。

1.2 基于深度学习的低剂量CT成像方法

临床常规使用的正常剂量CT是组合多角度X射线测量的结果，辐射量较大。为了降低患者收到的潜在风险，通过降低射线强度或者稀疏角度实现低剂量CT成像受到广泛关注。然而，X射线电通量越小，重建的CT噪声越严重，降低了图像质量，从而影响诊断的准确性。

传统的低剂量CT成像方法有总变分、模型驱动迭代(MBIR)和字典学习，基于深度学习的方法主要通过CNN模型实现端到端的LDCT图像去噪任务，从而完成从低剂量到正常剂量的图像恢复。

1.2.1 基于编解码CNN的方法

编码解码器是一种经典的CNN模型，广泛应用于图像去噪、超分辨率等任务。其网络的编码器部分在降采样的同时会生成包含大量语义信息的特征图，而解码器部分则是将语义特征图映射回与输入图像相同分辨率尺寸
多使用残差连接方式，补充上采样过程中所需细节信息，改善训练过程中梯度消失问题
面向图像恢复的编解码网络设计思路简单清晰，在噪声抑制中取得了不错的鲁棒性能，同时也可作为基本网络结构与其他方法结合，因此在低剂量CT图像重建中应用较为广泛。
Han 等人( 2016) 率先提出基于编解码结构的深度残差网络，实现了稀疏角度的LDCT重建。该网络与经典的分割网络U-Net非常类似，将编码阶段特征图跳跃拼接至同尺度的解码阶段。
Chen等人( 2017) 提出了RED-CNN，为避免信息损失，该网络使用完全对称的卷积和反卷积替代池化层和上采样层，完成图像在编解码过程中的尺寸变换。此外，进一步改进的3D卷积编解码网络( Shan 等，2018) 、模块化适应性处理神经网络( MAP-NN) ( Shan 等，2019) 等算法也相继提出。

1.2.2 结合小波变换的CNN的方法

小波变换具有多尺度的特点，能将图像信号分解为不同的频率分量，为基于CNN的图像去噪提供更丰富的信息，提升去噪性能。结合小波变换的CNN也是进行LDCT去噪的常用方法

WavResNet（2017）算法采用轮廓波 ( contourlet) 变换对原始的LDCT图像进行分解，得到不同方向、不同频率范围的15个子带通道; 然后将这些子带通道送入CNN网络进行训练，得到15个信道的输出数据进行重构，最终输出重建后的图像。该类方法在网络的输入输出两段分别对图像进行小波变换和小波逆变换，而中间部分CNN则保持图像尺寸不变，在设计上与深度学习实现超分辨率重建方法比较类似。

另一种结合小波变换与 CNN 的常用方式是在网络结构中嵌入小波变换。Han 等人( 2018) 为解决 U-Net 生成的图像模糊且含有伪影的问题，用小波分解和重构代替原始 CNN 中的池化层和上采样层，实现了不同尺度上小波变换的运用; 此外，额外的网络通道传输了不同子带的高频分量，可以帮助网络更好地恢复 CT 图像中的高频细节。此类方法考虑到扫描伪影是全局分布，所以将小波变换与多尺度 CNN 相结合; 而编解码结构具备多尺度的特点，促使小波变换与编解码网络可以进行有效融合。