Inf-Net: Automatic COVID-19 Lung InfectionSegmentation from CT Images

Inf-Net：基于CT图像的COVID-19肺部感染自动分割

摘要：

2019冠状病毒病(COVID-19)于2020年初在全球蔓延，使世界面临生存健康危机。从计算机断层扫描(CT)图像中自动检测肺部感染，为增强应对COVID-19的传统医疗保健策略提供了巨大潜力。然而，从CT切片中分割感染区域面临着一些挑战，包括感染特征的高度变化，感染与正常组织之间的低强度对比。此外，在短时间内收集大量数据是不切实际的，这抑制了深度模型的训练。为了解决这些问题，提出了一种新型的COVID-19肺部感染分割深度网络(Inf-Net)，用于从胸部CT切片中自动识别感染区域。在我们的Inf-Net中，使用并行部分解码器来聚合高级特征并生成全局映射图。然后，利用隐式反向注意RA和显式边缘注意EA对边界进行建模，增强边界表征。此外，为了缓解标记数据的短缺，我们提出了一种基于随机选择传播策略的半监督分割框架，该框架只需要少量标记图像，并主要利用未标记的数据。我们的半监督框架可以提高学习能力，达到更高的性能。在covid - semieg和真实CT体积上进行的大量实验表明，所提出的Inf-Net优于大多数尖端的分割模型，并提高了最先进的性能。

（高级特征通常是在编码器阶段产生的，通常通过多个层次的抽象化来捕捉数据的高级特征。解码器阶段则用于将这些高级特征转换回原始数据或执行特定任务。解码器产生低级特征）

1 介绍

自2019年12月以来，世界面临着一场全球性卫生危机:新型冠状病毒病(COVID-19)大流行[1]，[2]。根据约翰霍普金斯大学(JHU)系统科学与工程中心(CSSE)的全球病例统计[3](更新于2020年5月1日)，到目前为止，已报告了3257660例COVID-19确诊病例，其中233416例死亡，影响了187多个国家/地区。对于COVID-19筛查，逆转录聚合酶链反应(RT-PCR)被认为是金标准。然而，设备的短缺和对检测环境的严格要求限制了对疑似受试者的快速准确筛查。此外，RT-PCR检测也有高假阴性率的报道[4]。作为RT-PCR检测的重要补充，放射成像技术，如x射线和计算机成像技术断层扫描(CT)在当前的诊断中也被证明是有效的，包括随访评估和疾病发展的评估[5]，[6]。此外，中国武汉1014例患者的临床研究表明，胸部CT分析对COVID-19的检测灵敏度为0.97，特异性为0.25，准确性为0.68,RTPCR结果可作为参考[4]。其他研究也报道了类似的观察结果[7]，[8]，表明放射成像可能有助于支持COVID-19的早期筛查。

与x射线相比，CT筛查由于其优点和肺部的三维视图而广受青睐。近期研究[4]、[10]，CT切片可观察到感染的典型征象，如早期可见磨玻璃影(GGO)，晚期可见肺实变，如图1所示。因此，定性评估感染和CT切片的纵向变化可以为抗击COVID-19提供有用和重要的信息。然而，手工描绘肺部感染是一项繁琐而耗时的工作。此外，放射科医生的感染注释是一项高度主观的任务，经常受到个人偏见和临床经验的影响。

最近，有人提出深度学习系统通过放射成像检测COVID-19患者[6]，[15]。例如，提出使用COVID-Net从胸片图像中检测COVID-19病例[16]。设计了一个异常检测模型，以协助放射科医生分析大量的胸部x线图像[17]。CT成像方面，文献[18]采用定位注意导向模型计算COVID-19感染概率。文献[19]开发了一种基于弱监督深度学习的软件系统，利用3D CT体检测covid - 19。基于covid - 19成像的AI作品的论文列表可在[20]中找到。虽然在临床实践中已经提出了大量的AI系统来辅助COVID-19的诊断，但在CT切片中进行感染分割的工作却很少[21]，[22]。CT切片中的COVID-19感染检测仍然是一项具有挑战性的任务，主要存在以下几个问题:1)CT切片中感染的纹理、大小和位置变化很大，对检测具有挑战性。例如，实变很小，很容易导致整个CT切片的假阴性检测。2)类间方差较小。例如，GGO边界通常具有低对比度和模糊外观，使其难以识别。3)由于covid - 19的紧急性，很难在短时间内收集到足够的标记数据来训练深度模型。此外，在CT切片中获取高质量的像素级肺部感染注释是昂贵且耗时的。表1列出了公开的COVID-19成像数据集列表，其中大部分集中在诊断上，只有一个数据集提供分割标签。

为了解决上述问题，我们提出了一种新的CT切片COVID-19肺部感染分割深度网络(Inf-Net)。我们的动机源于临床医生在进行肺部感染检测时，首先对感染区域进行粗略定位，然后根据局部的外观准确提取其轮廓。因此，我们认为区域和边界是区分正常组织和感染的两个关键特征。因此，我们的Inf-Net首先预测粗糙区域，然后通过反向注意和边缘约束引导隐式建模边界，以显式增强边界识别。此外，为了缓解标记数据的不足，我们还提供了一种半监督分割系统，该系统只需要少量标记的COVID-19感染图像，然后使模型能够利用未标记的数据。

具体来说，我们的半监督系统利用随机选择的未标记数据传播来提高学习能力，并获得比一些前沿模型更高的性能。简而言之，我们在本文中的贡献有三点:

我们提出了一种用于CT切片的新型COVID-19肺部感染分割深度网络(Inf-Net)。通过使用并行部分解码器(PPD)聚合来自高级层的特征，组合的特征获取上下文信息并生成全局映射图，作为后续步骤的初始指导区域。为了进一步挖掘边界线索，我们利用一组隐式循环反向注意(RA)模块和显式边缘注意指导来建立区域和边界线索之间的关系。

•针对标记数据不足的问题，提出了一种用于COVID-19感染分割的半监督分割系统。基于随机选择的传播，我们的半监督系统具有更好的学习能力(见§IV)。

•我们还构建了一个半监督的COVID-19感染分割(covid - semieg)数据集，其中包括来自COVID-19 CT分割数据集[9]的100个标记CT切片和来自COVID-19 CT Collection数据集[11]的1600个未标记图像。在该数据集上的大量实验表明，所提出的Inf-Net和Semi-Inf-Net优于大多数尖端的分割模型，并提高了最先进的性能。我们的代码和数据集已经发布在:https://github.com/DengPingFan/Inf-Net

2 相关工作

在本节中，我们将讨论与我们的工作最相关的三种类型的工作，包括:胸部CT分割、半监督学习和COVID-19的人工智能。

A 胸部CT分割

CT成像是肺部疾病诊断的常用技术[23]，[24]。在实践中，从胸部CT切片中分割不同的器官和病变，可以为医生诊断和量化肺部疾病提供重要信息[25]。最近演出了多部作品，并取得了不错的成绩。这些算法通常采用提取特征的分类器对胸部CT中的结节进行分割。如Keshani等[26]利用支持向量机(SVM)分类器从CT切片中检测肺结节。Shen等[27]提出了一种基于双向链码的肺自动分割系统来提高性能。然而，由于结节的视觉外观与背景相似，为结节区域的提取带来了困难。为了克服这个问题，已经提出了几种深度学习算法来学习强大的视觉表示[28]-[30]。例如，Wang等人[28]开发了一种中心聚焦卷积神经网络，从异质性CT切片中分割肺结节。Jin等[29]利用gan合成的数据改进了病理性肺分割判别模型的训练。Jiang等[30]设计了两个深度网络，通过加入多个不同分辨率的残余流，从CT切片中分割肺肿瘤。Wu等[31]通过联合分类和分割构建了一个可解释的COVID-19诊断系统。

B 高效标注深度学习

在我们的工作中，我们的目标是分割COVID-19感染区域，以量化和评估疾病进展。

(无监督)异常检测/分割可以检测到异常区域[32]-[34]，但不能识别异常区域是否与COVID-19相关。通过

相比之下，基于少量标记数据的半监督模型可以从其他异常区域中识别出目标区域，更适合COVID-19的评估。

此外，迁移学习技术是处理有限数据的另一个很好的选择[35]，[36]。但目前，COVID-19感染分割的主要问题是已经有一些公开的数据集(见[20])，但缺乏高质量的像素级注释。这个问题将变得更加明显，即使收集大规模的covid - 19数据集，其中的注释仍然是昂贵的。

因此，我们的目标是有效地利用有限的注释并利用未标记的数据。半监督学习为解决这个问题提供了一个更合适的解决方案。

半监督学习(SSL)的主要目标是使用有限数量的标记数据和大量未标记数据来提高模型性能[37]。目前，人们越来越关注使用SSL策略训练深度神经网络[38]。这些方法通常会优化标记数据上的监督损失和未标记数据上的无监督损失[39]或标记和未标记数据[40]，[41]。Lee等[39]提出通过计算未标记数据的伪标签来利用交叉熵损失，这被认为是一种额外的监督损失。综上所述，现有的深度SSL算法通过强制平滑和一致的分类边界来规范网络，这对随机扰动具有鲁棒性[41]，其他方法通过探索学习到的知识来丰富监督信号，例如，基于时间集成预测[40]和伪标签[39]。此外，半监督学习已被广泛应用于医学分割任务，其中一个常见的问题是缺乏像素级标记数据，即使可以获得大规模的未标记图像集[36]，[42]。例如，Nie等人[43]提出了一种基于注意力的半监督深度网络用于盆腔器官分割，其中开发了半监督区域注意力损失来解决训练深度学习模型的数据不足问题。Cui等[44]对MR图像中脑卒中病灶分割任务的平均教师框架进行了改进。Zhao等[45]提出了一种基于自集成架构和随机补丁大小训练策略的半监督分割方法。与这些工作不同的是，我们的半监督框架是基于随机抽样策略来逐步扩大未标记数据的训练集。

(相关工作没有翻译完)

3  提出的方法

在本节中，我们首先从网络架构、核心网络组件和损失功能方面详细介绍我们的Inf-Net。然后，我们提出了半监督版本的Inf-Net，并阐明了如何使用半监督学习框架来扩大有限的训练样本数量以提高分割精度。我们还展示了对不同类型肺部感染的多类别标记框架的扩展。最后，我们提供了实现细节。

A.肺部感染分割网(Inf-Net)

网络概述:

我们的infnet架构如图2所示。可以看出，CT图像首先被馈送到两个卷积层，以提取高分辨率、语义弱(即低层次)的特征。在这里，我们增加了一个边缘关注模块来显式地改进目标区域边界的表示。然后，将获得的低级特征f2馈送到三个卷积层以提取高级特征，用于两个目的。首先，我们利用并行部分解码器(PPD)来聚合这些特征并生成一个全局地图Sg，用于肺部感染的粗略定位。其次，这些特征与f2相结合，在Sg的指导下被馈送到多个反向注意(RA)模块。值得注意的是，RA模块是以级联方式组织的。例如，如图4所示，R4依赖于另一个RA R5的输出。

最后，将最后一个RA的输出，即S3，馈送到Sigmoid激活函数，用于最终预测肺部感染区域。现在我们详细介绍Inf-Net的关键组件和我们的损失函数。

边缘注意模块:一些研究表明，边缘信息可以提供有用的约束来指导分割的特征提取[59]-[61]。因此，考虑到底层特征(例如我们模型中的f2)保留了一些足够的边缘信息，我们将具有中等分辨率的底层特征f2提供给所提出的边缘注意(EA)模块，以显式学习边缘注意表示。具体来说，特征f2被送入一个带有一个滤波器的卷积层，以产生边缘映射。然后，我们可以测量