人工智能在医学影像中的研究与应用

人工智能在医学影像中的研究与应用

韩冬, 李其花, 蔡巍, 夏雨薇, 宁佳, 黄峰

沈阳东软医疗系统有限公司，辽宁 沈阳 110167

慧影医疗科技（北京）有限公司，北京 100192

东软集团股份有限公司，辽宁 沈阳 110179

 

摘要：近年来，人工智能成为学术界和工业界的研究热点，并已经成功应用于医疗健康等领域。着重介绍了人工智能在医学影像领域最新的研究与应用进展，包括智能成像设备、智能图像处理与分析、影像组学、医学影像与自然语言处理的结合等前沿方向。分析了研究和发展从源头入手的全链条人工智能技术的重要性和可行性，阐述了学术界和工业界在这一重要方向上的创新性工作。同时指出，人工智能在医学影像领域中的研究尚处于起步阶段，人工智能与医学影像的结合将成为国际上长期的研究热点。

关键词：人工智能 ; 医学影像 ; 成像方法 ; 图像处理与分析 ; 自然语言处理

论文引用格式：

韩冬, 李其花, 蔡巍, 夏雨薇, 宁佳, 黄峰. 人工智能在医学影像中的研究与应用. 大数据[J], 2019, 5(1):39-67

HAN D，LI Q H, CAI W,XIA Y W,NING J, HUANG F. Research and application of artificial intelligence in medical imaging. Big data research[J], 2019, 5(1): 39-67

1 引言

人工智能（artificial intelligence, AI）是当下学术界和产业界的一个热点。经过近几年的高速发展，深度学习已经实现了在传统的图像、视频、语音识别等领域的落地，并迅速地向文本处理、自然语言理解、人机对话、情感计算等方面渗透，并在安防、物流、无人驾驶等行业发挥了重要作用。

人口老龄化问题的显现以及人们对健康与日俱增的要求，对目前有限的医疗资源和医疗技术提出了更大的挑战。医疗领域亟需新的技术满足这些需求。与此同时，国内外与医疗相关的人工智能技术也在飞速地发展，科研和创业项目如雨后春笋，为解决医疗领域的挑战提供了新的机遇。目前已经出现了计算机辅助诊断、智能专家系统、手术机器人、智能药物研发以及健康管理等多种产品。

在众多的医疗信息中，医学影像是疾病筛查和诊断、治疗决策的最主要的信息来源。基于医学影像的诊断和治疗是一个典型的长链条、专业化的领域，涵盖了医学影像成像、图像处理与分析、图像可视化、疾病早期筛查、风险预测、疾病辅助检测与诊断、手术计划制定、术中辅助导航、随访跟踪与分析、康复计划制定等一系列方向。目前，医院存储的信息超过90%是影像信息，影像信息已经形成了巨大的数据积累。为此，基于医学影像大数据的人工智能技术与应用就成为医疗机构、科研、产业和政府共同关注的焦点。

医学影像链可以分为成像和图像挖掘两部分。首先，作为信息源头的医学成像设备，其成像质量会对后续疾病的检测、诊断与治疗起到至关重要的作用。利用AI技术可以实现医学影像成像质量的提升，AI优化的扫描工作流可以显著提高扫描效率，并使成像质量趋于标准化，从而给整个医疗健康链条带来深远的影响，具有重要的临床与科研价值。

其次，理解医学图像、提取其中具有诊断和治疗决策价值的关键信息是诊疗过程中非常重要的环节。AI辅助诊断可以承担繁琐的病灶筛查工作，迅速地从海量数据中提取出与诊断相关的有价值的信息，同时避免人工阅片带来的主观性差异。AI辅助图像处理算法还可以迅速地完成分割配准等复杂功能，为用以治疗的医疗设备（例如手术导航和手术机器人）提供精准的病灶结构信息。

此外，目前AI在医学影像方面的应用还存在着诸多挑战，比如扫描成本和患者隐私问题使得医疗大数据难以被获得；医学图像的标注者需要具有一定的医学背景，获得高质量的医学图像标注甚至比获得医学图像代价更高；不同病变类型与正常的医学图像在数据量上的差距巨大。一些基于AI的非结构医学信息数据分析方法，可以结合影像和医生撰写的诊断报告，自动或者半自动地生成标注数据，扩充训练数据集。

医学影像大数据和人工智能涉及影像链中的成像、图像挖掘、利用文本和影像的关联解决部分图像标注这3个方面的问题。本文主要从智能医学成像系统、医学影像大数据与智能图像分析、医学影像与自然语言文本处理的结合分析这3个方面详细介绍国内外的研究现状与发展趋势。

2 智能医学成像系统

随着各种大型医学成像设备在各层级医院的普及，医学影像检查已经成为各种疾病诊断过程中最为重要的检查手段和诊断依据。医学影像相比于生化等其他检查，可以提供病变的位置、结构和功能等重要信息，为疾病的诊断和治疗提供直观的信息和参考。目前，各种医疗成像系统还面临着成像速度较慢、图像质量受患者配合度影响、成像工作流繁琐等各种挑战。本节将介绍人工智能对医学成像系统各方面的改进。

2.1 医学成像系统简介

临床中常用的医学影像模态有多种，包括电子计算机断层扫描（computed tomography,CT）、磁共振成像（magnetic resonance imaging,MRI）、正电子发射计算机断层显像（PET-CT）、X射线、超声等。不同模态的医学影像适合观察不同类型的生理病理信息。医学影像设备采集人体中与特定生理病理信息相关的物理信号，并依据信号传播的数学物理模型重建生理病理信息精确的二维、三维空间分布（即医学图像）。CT图像反映的是人体内不同组织对特定谱段X射线的衰减系数分布情况，由于衰减系数与物质密度直接相关，因此CT图像间接地反映出人体组织的三维密度分布。MRI可以反映人体中质子的密度、纵向弛豫时间（T1）、横向弛豫时间（T2）、质子扩散等多种对比度。PET图像可以反映出人体内氟代脱氧葡萄糖（18F-FDG）的代谢分布情况。

三维医学图像成像过程属于逆问题（inverse problem）范畴，即通过在体外采集到的物理信号，重建能够产生该观测信号的人体内生理病理信息的分布情况。这一过程通常是不稳定的，其原因可能有多种，例如，由于扫描时间和剂量的限制而造成的采集信号量不足、原始采集信号中存在着固有噪声、原始信号中掺杂着其他干扰信号、成像设备硬件的不完美性、患者在成像过程中不自主的随机运动等。这些因素使得基于理想数学物理模型的解析重建方法通常无法得到满足临床要求的图像。为了解决这一问题，传统上需要在重建过程中加入针对图像的特定先验信息（prior information）作为约束条件，以使重建过程更加稳定。常用的约束包括图像L1范数、L2范数、全变分（total variation, TV）约束等。这些简单的约束条件具有良好的通用性，但却无法准确地反映数据的本质特征，对于特定的影像模态与成像模式无法得到最优的重建结果，因此如何设计更好的先验约束，一直是医学影像成像领域的难题之一。

近年来，AI技术的快速发展，特别是其在计算机视觉（computer vision, CV）、图像处理与分析等领域的重要突破，使得国际上的研究人员逐渐认识到将AI技术应用于医学影像成像领域的可能性。AI技术（特别是深度学习技术）摒弃了传统的人工设计的图像先验信息，采用一种完全数据驱动（data-driven）的方式，学习图像固有的深层次先验信息。这些学习到的先验信息具有更加专业化的特点，将其应用于特定领域中，效果远优于传统的浅层次先验信息。目前，AI技术与医学影像成像方法的结合已经成为领域内的研究热点，相关的研究成果呈爆发式增长。

2.2 快速医学影像成像方法

在临床医学影像扫描过程中，成像速度始终是倍受关注的重要因素之一，长扫描时间会降低影像科室的日均流通量，还会给患者带来不适。扫描过程中患者的不自主运动也会对成像质量产生不良的影响。在快速成像方面，国际上相关研究主要集中在磁共振成像加速方面，目前已经发表了大量研究工作，是AI与成像相结合的热点方向之一。

Mardani M等人提出了一种基于生成对抗网络（generative adversarial network,GAN）的磁共振（magnetic resonance,MR）压缩感知（compressed sensing,CS）快速成像方法，该方法利用GAN对高质量MR图像的低维流形（manifold）进行建模。GAN由生成器（generator）和判别器（discriminator）组成，生成器的作用是将低质量的MR图像映射到高质量图像的流形上，判别器的作用是对映射后的图像质量进行评判。生成器网络的损失函数（loss function）由图像域L1/L2范数和GAN损失函数组成，其中L1/L2范数用于抑制图像中的噪声，而GAN损失函数用于保留图像的细节信息。为了保证生成的图像真实可靠，笔者将k空间（k-space）数据保真（data fidelity）项引入网络。实验结果表明，该方法可以实现至少5倍的扫描加速，同时成像结果明显优于传统的压缩感知算法。

Schlemper J等人提出了一种基于级联深度神经网络（cascaded DNN）的MR快速成像方法。级联深度神经网络由若干个网络单位级联而成，每个网络单元包含卷积神经网络（convolutional neural network,CNN）和数据保真项两个部分，其中CNN以残差网络（residual network, ResNet）的形式构建。因此，CNN学习到的是降采（under-sampled）图像与满采（fully-sampled）图像之间的差异。通过CNN与数据保真项的多次交替处理，可以将原始复杂的MR图像重建问题转化为一系列子过程的顺序执行，而每一个子过程仅需对前一子过程的结果进行进一步的优化即可。相比于整个重建问题，其难度显著地降低了，从而使重建过程变得更加稳定。实验结果表明，级联深度神经网络的重建图像质量相比于传统的压缩感知方法以及基于字典学习的图像重建方法有了明显的提升，同时其重建一幅二维心脏图像的时间仅为23 ms，基本达到了准实时的效果。

为了将传统迭代重建方法与深度学习方法各自的优势结合起来，Yang Y等人提出了一种基于交替方向乘子算法（alternating direction method of multipliers,ADMM）的MR图像重建方法——ADMM-Net，该方法将经典的ADMM迭代重建方法利用神经网络进行重新实现。ADMM-Net对特定迭代次数的ADMM方法进行建模，在每次迭代中，利用CNN解决ADMM算法中的3个子优化问题，整个网络以端到端（end-to-end）的方式进行训练。ADMM-Net的优势在于各种参数可以通过完全数据驱动的、端到端的学习方式得到。实验结果证明， ADMM-Net的重建结果明显优于传统方法。此外，ADMM-Net的构建参照了经典的ADMM，因此，网络的重建结果具有更好的可解释性。

深度神经网络自身的复杂性以及端到端的学习特性，使其通常被看作一个黑盒（black box）方法。为了进一步证明将深度学习应用于成像方向的理论上的合理性，Ye J C等人提出利用卷积框架（convolution framelets）方法从理论上加以解释。卷积框架最初用来拓展低秩Hankel矩阵（low-rank Hankel matrix）理论在逆问题中的应用。Ye J C等人提出了一种深度卷积框架神经网络（deep convolutional framelet neural network, DCFNN），并证明了在采用修正线性单元（rectified linear unit,ReLU）非线性激活函数的情况下，该网络可以实现完美重建，同时也证明了常用的网络组件（如residual blocks、concatenated ReLU等）确实可以促进完美重建的实现。此外，基于文章中的理论分析，作者指出了现有的基于深度学习的成像方法的局限性，并通过实验验证了DCFNN方法优于现有的基于深度学习的方法。

通常，一次MR扫描可以生成多种不同对比度的图像。现有的基于深度学习的单一对比度快速成像方法没有充分利用不同对比度图像之间的结构相似性，因此限制了其可以达到的加速比。为了进一步提升重建图像的质量，Chen M等人提出了一种Multi-echo图像联合重建方法，该方法采用 U-Net实现图像重建，通过将6-echo的图像作为不同的通道输入网络中，使得在卷积过程中能够充分利用不同echo图像间的结构相似性，从而为网络的训练加入更多的约束条件，让训练过程变得更加稳定