深度学习在医学超声图像分析中的应用综述

关键词

深度学习
医学超声图像分析
分类
分割
检测

---

摘要

在临床上，超声（US）已成为最主要的成像模态之一。超声是一种快速发展的技术，具有无痛苦、无电离辐射、经济适用、实时成像等优点；同时也有成像质量差、差异性大等特有的缺点。对于图像分析来说，很有必要开发先进的自动化超声图像分析方法来帮助医生进行超声诊断，一方面可以减轻医生的负担，另一方面可以降低诊断的主观性，从而使得诊断更加客观与准确。近年来，深度学习已经成为最主要的机器学习工具，并且广泛应用于各个研究领域，尤其是一般的图像分析与计算机视觉。在医学超声图像分析中，深度学习也展示了巨大的应用潜力。本文首先简要介绍了一些流行的深度学习结构，然后总结并全面讨论了深度学习方法在超声图像分析的各种特定任务（如图像分类、物体检测与目标分割）中的应用。最后，本文讨论了深度学习在医学超声图
像分析应用中所面临的挑战以及潜在的发展趋势。

---

1.引言

• 3D相对于2D的优势
  一张3D图像（也常称为“3D体积”）通常比2D图像包含更丰富的信息，因此使用3D体积能够获得更鲁棒的结果。更具体地说， 2D超声图像具有一些不可避免的局限性：

1. 尽管超声图像是2D的，而解剖结构是3D的，因此检测人员或者诊断医生在他/她的脑海里一定要有集成多张图像（这个过程通常可能无效且很耗时）的能力，这个能力的缺失将导致较大的差异甚至误诊。

2. 诊断（如妇产科）与治疗（如分期与计划）决策通常需要对器官或肿瘤体积进行准确的估计，然而2D超声通过假定测量目标为一个理想的形状（如椭球体），从长、宽、高等简单的测量中进行体积测量。这可能导致准确率较低，差异性较大，且依赖操作者的经验。

3. 一张2D超声图像呈现了身体中任意角度的一个平面，对于随访研究，这些平面很难再定位与复现[51]。为了克服2D超声的局限性，各种3D超声扫查、重建与显示技术被开发，这给3D超声图像分析提供了很好的基础。此外， 3D超声成像技术的发展也支持了当前的深度学习在医学超声图像分析中的应用[23,52]。

---

2. 常用深度学习结构

2.3 模型训练的困难及其应对策略

深度学习的巨大成功是源于它需要大量带有标签的训练样本才能获得优异的学习性能。然而，在当前的医学超声图像分析中，这种要求是很难满足的，这是因为专家标注是昂贵的，而且一些疾病（如病变或结节）的数据很稀有[68]。因此，在医学超声图像分析中，怎样使用有限的训练样本来训练深度模型成为了一个公开的挑战。使用有限训练样本时的最普遍的一个问题是容易产生模型过拟合。为了解决模型过拟合的问题，有两个主要的途径选择：模型优化与迁移学习。

---

3. 深度学习在医学超声图像分析中的应用

当前深度学习技术在医学超声图像分析中的应用主要涉及三大任务：各种解剖结构（如乳腺、前列腺、肝脏、心脏与胎儿）的分类、检测与分割。此外，在临床实践中， 3D超声在改善超声成像诊断方面提供了一个有前景的方向。

3.1 分类

3.2 检测

3.3 分割

3.4 3D 超声图像分析

• 事实上，由于以下限制， 3D深度学习仍然是一项具有挑战性的任务：
  ①在大体积数据上训练一个深度网络，对于实际的临床应用来说，计算成本可能太高（如内存与计算要求显著增加）；
  ②以3D图像块作为输入的深度网络需要更多的训练样本，这是由于3D网络包含的参数与2D网络相比呈指数级增加。在有限训练数据的情况下，这可能显著增加过拟合的风险[144]。相反，由于很难生成与共享病变或疾病图像，医学超声图像分析领域常常只能收集到有限的训练样本（即使在使用了数据增强后，样本数通常也只有几百或者几千份）。

• 逐片处理（slice-by-slice）方法
  优点：是高速、低内存消耗，并且能够直接或通过迁移学习利用预训练的网络
  缺点：是无法利用图像平面正交方向的结构上下文信息

• 逐块多图谱方法
  优点：能够充分利用3D超声体积数据中的上下文信息

---

4. 结论

从上面的例子可以看出，深度学习已经应用到医学超声图像分析中的各种应用领域。然而，尽管深度学习方法不断更新医学超声图像分析中不同应用方面的最新性能结果，但仍有改进的空间。本节将总结深度学习应用于医学超声图像分析时普遍遇到的挑战，并讨论它的未来发展前景。

显然，深度学习能取得的主要性能改善，在很大程度上依赖于大样本训练数据集。 然而，与其他领域的大规模与公共可用的数据集（如ImageNet数据集超过1×106标注的多类别自然图像[6]）相比，当前医学超声领域内公开可用的数据集仍然很有限。有限的数据集已成为深度学习方法在医学超声图像分析中进一步应用的瓶颈。为解决小样本数据集的问题，目前研究人员最常用的方法之一是进行跨数据集（模态内或模态间）学习，即 迁移学习。

正如前文所述，迁移学习的使用主要分为两类：直接利用预训练网络作为特征提取器以及固定网络中的部分权重进行微调[77]（根据数据集的大小进行选择）。根据目标域与源域是否相同，迁移学习可以分为两类：跨模态与跨领域迁移学习。**跨领域迁移学习是医学超声图像分析中各任务最常用的方法。**在任何情况下，当前的模型预训练总是在大样本数据集上进行。这样做可以确保出色的性能，但这在医学成像领域绝对不是最佳选择。当使用小样本训练数据集时，特定领域深度模型从头开始训练（如果能够恰当选择模型大小）能够比其他领域大样本数据集（如自然图像）预训练网络后的迁移学习取得更好的性能[154]。这一现象的根本原因可能是，用于医学图像分析中特定任务的原始输入图像像素到特征向量的映射，在预训练情况下变得更加复杂，因而需要大样本训练数据集才能有好的泛化能力。相反，特别设计的小网络可能更适合医学成像中普遍存在的小规模训练数据集[155]。因此，开发医学成像领域专用的深度学习模型，不仅能够以较低计算复杂度来提高特定任务的性能，还可以促进医学成像领域中CADx的技术发展。

此外，在自然图像上训练的模型可能不是医学图像的最佳模型，后者通常是单通道、低对比度以及具有丰富的纹理特征。在医学成像，尤其乳腺成像中，诊断工作流程中经常使用多种成像模态，如MRI、 X射线与超声。超声或者乳房X线照相术通常是一线筛查工具，因此更容易收集到大量的训练数据集。然而，通常用于筛查高风险人群的乳腺MRI是一种更加昂贵和耗时的方法，要收集足够的训练数据集以及进行标注将更加困难。在这种情况下，跨模态迁移学习可能是一个可取的选择。有实验表明，在缺乏足够训练数据集的情况下，对于特定的任务，跨模态迁移学习要优于跨领域迁移学习[156]。因为考虑到很少能够从单个站点（即机构或医院）收集到大样本数据集，而通常收集自多个不同的站点（或机器），因此可以尝试进行相同成像模态的跨站点（或跨机器）迁移学习。

最后，还必须解决当前迁移学习算法的其他问题，包括如何避免负性迁移，如何处理源域与目标域或者源任务与目标任务之间的特征空间不一致问题，以及如何提高不同任务的泛化能力。迁移学习的目的是利用从源任务学习到的知识来提高目标任务的学习性能。然而，不恰当的迁移学习有时反而会降低性能，即成为负迁移[157]。忽略不同方法间的固有差异，对于特定的目标任务，任何迁移学习的有效性主要取决于两个方面：源任务及其与目标的关系。理想情况下，迁移方法将在足够相关的任务间产生正迁移，而避免负迁移，尽管这些任务可能不是完全匹配的。然而，这些目标在实践中很难同时实现。为了避免负迁移，可以采用以下策略：①识别与拒绝有害源任务知识；②从一组候选源任务中选择最好的源任务（如果可能的话）；③建模多个候选源任务的任务相似性。此外，当源任务和目标任务的表示不一致时，映射可以用于任务表示之间的迁移。

值得再次强调的是， 3D超声是医学成像领域中一种重要的成像模态， 3D超声图像分析在基于超声的临床应用中显示出巨大的潜力，尽管一些问题亟待解决。可以预见的是，更多新颖的3D深度学习算法将被开发，用于医学超声图像分析中的各种任务，并在未来实现更大的性能改进。然而，如果没有其他领域，尤其CV的支持，当前医学超声图像分析领域的3D深度学习算法开发将比较困难。