目录
4.Online Hard Example Mining（OHEM算法）
前言
在学习一篇医学影像处理的综述，从中挑几篇觉得感兴趣的进行深度学习。
第二篇是：W. Xie, C. Jacobs, J. Charbonnier, and B. van Ginneken, “Relational modeling for robust and efficient pulmonary lobe segmentation in CT scans,” IEEE Transactions on Medical Imaging, 2020.即CT 扫描中稳健高效肺叶分割的关系建模。
卷积神经网络在肺部疾病分割方面有良好的性能，但由于卷积的性质，它们在捕获结构化关系方面仍然受到限制。肺叶的形状相互影响，它们的边界与血管、气道和胸膜壁等其他结构的外观有关。作者认为，当肺部受到 COVID-19 或 COPD 等疾病的影响时，这种结构关系在准确描绘肺叶方面发挥着关键作用。在本文中，作者提出了一种关系方法（RTSU-Net），它通过引入一种新颖的非局部神经网络模块来给结构化关系施加影响。所提出的模块学习所有卷积特征之间的视觉和几何关系以产生自注意力权重。
综述：S. K. Zhou et al., "A Review of Deep Learning in Medical Imaging: Imaging Traits, Technology Trends, Case Studies With Progress Highlights, and Future Promises," in Proceedings of the IEEE, vol. 109, no. 5, pp. 820-838, May 2021, doi: 10.1109/JPROC.2021.3054390.
一、介绍
人肺由五个不相交的肺叶组成。 右肺由上叶、中叶和下叶组成，而左肺只有上叶和下叶。 肺叶被肺裂隔开，在 CT 图像上以细线可见的双层内脏胸膜。 这些肺叶是功能独立的单位，因为每个肺叶都有自己的血管和支气管供应。 因此，疾病的程度通常在肺叶之间有很大差异，肺疾病的肺叶评估具有临床重要性。
计算机断层扫描 (CT) 是体内成像肺部的最佳方法。 由 SARS-Cov2 病毒引起的流行病 COVID-19 正在给全球医疗保健系统带来压力。 CT 严重程度评分可以总结疾病的严重程度，放射科医师对每个肺叶进行视觉评分，评分范围为 0 到 5。这些评分的总和量化了肺部受累程度，评分范围为 0 到 25 。 该评分提供了一种评估疾病严重程度和进展的工具，这进一步有利于临床决策。 为了自动化 CT 严重程度评分，需要在 COVID-19 扫描中进行肺叶分割。 COVID-19 患者的 CT 扫描受到广泛的斑片状磨玻璃区域和实变的影响，甚至可能显示充满胸腔积液的肺叶或完整的肺。 在具有如此广泛的病理变化的扫描中，自动叶分割是极具挑战性的。 许多自动叶分割方法侧重于寻找可见裂缝，假设检测到的裂缝相当于通过插值找到叶分割。 早期的裂隙增强滤波器和更强大的监督学习方法都严重依赖手工制作的特征（标注），因此难以泛化。
此外，由于不完整的裂缝非常普遍，基于可见裂缝的边界插值可能不足以可靠地找到叶边界。 不是单独发现肺裂，而是利用肺叶与附近气道、血管和肺边界之间的解剖关系来解释不完整的肺裂和由于病理引起的肺损伤。 卷积神经网络 (CNN) 的最新进展为端到端优化过程中更稳健的特征提取提供了一种数据驱动的方法。 许多作品已在其叶分割框架中成功采用了 CNN。
尽管现有的 CNN 方法在叶分割方面取得了优异的性能，但它们在关系推理方面可能仍然效率低下且受到限制，例如捕获 CT 图像中叶与其他结构之间的叶间关系和其他远程关系。 CNN 方法假设语义分割中对象和对象部分之间的这种关系可以直接从 CNN 训练过程中隐式学习。 然而，正如 [20]、[21] 所指出的，使用堆叠卷积层序列计算的分层特征表示在推断卷积特征之间的关系时效率非常低。 由于 CNN 中的高级特征通常表示对象和对象部分，而不是根据它们的语义交互聚合这些特征，卷积滤波器充当模板，其中根据滤波器权重聚合特征。 这可能导致捕获特征之间的关系效率低下，因为过滤器权重对于特征的排列不是不变的。 此外，由于使用了局部核，卷积滤波器仅限于捕获远程关系。 COVID-19 感染患者的 CT 表现 [22]、[23] 通常包括多个具有局灶性病理变化的区域，范围从毛玻璃样到实变到机化性肺炎。 这些变化更常发生在下叶。 在这里，叶边界可以显着变形。 在这些情况下，来自 CT 图像中其他区域的信息可能对于定位和描绘目标叶至关重要。 因此，在本文中，我们引入了一种新的非局部神经网络模块来模拟肺叶分割的全局结构化关系。 所提出的非局部神经网络模块使用扫描级所有其他位置的外观和几何特征计算一个位置的特征响应。 我们将这种方法简称为关系两阶段 U-net，或 RTSU-Net。
本文的主要贡献如下：
• 我们提出了一种新颖的非局部神经网络模块，该模块可以捕捉对象和对象部分之间的全局结构化关系，用于叶分割的视觉和几何特征。 所提出的 RTSU-Net 是稳健的，即使对于具有严重病理的扫描也能产生准确的叶分割。
• 我们使用类似于[15]、[18]、[19] 的多分辨率框架，但是，我们以端到端的方式训练这两个阶段。 这使 RTSU-Net 能够从第一阶段网络在全扫描级别捕获全局对象关系，同时在同一优化过程中同时在第二阶段提取局部细节。
• RTSU-Net 速度快且内存效率高，因为它由两个 CNN 级联组成。 RTSU-Net 只需要一个具有 12GB 内存的标准 GPU 进行训练，并且需要大约 30 秒来生成肺和肺叶分割，以便在测试时进行全胸部 CT 扫描。 时间消耗包括 CNN 推理时间、预处理和后处理，不包括在 IO 上花费的时间。
二、数据
本研究中使用的 CT 扫描来自两个来源。我们将第一组称为 COPD 组，将第二组称为 COVID-19 组。
从 COPDGene 研究 [32] 中获得了来自 COPD 受试者的大量扫描，范围从轻微到非常严重。 这是一项临床试验，数据来自美国 21 个影像中心。 COPDGene 总共招募了 10,000 名受试者。 每个受试者都接受了吸气和呼气胸部 CT。 图像重建使用亚毫米切片厚度和平面内分辨率，以及边缘增强和平滑算法。 COPDGene 的数据是公开的，可以在提交辅助研究提案后检索（ANC-398 用于这项工作）。 我们随机选择了 5000 名受试者并仅使用 I 期吸气 CT 扫描（每个受试者一次扫描）。 受试者被随机分为训练集（n = 4000）和测试集（n = 1000）。 切片厚度范围为 0.625-0.9mm，像素间距为 0.478-1.0mm。 大多数扫描是使用 200mA 作为 120kVp 的管电压和 B31f 和 B35f 重建内核进行的。 CT 协议在 [32] 中有详细说明。
另一个数据集来自荷兰奈梅亨的 Radboud 大学医学中心。 2020 年 3 月 18 日，该机构实施了低剂量非增强 CT 方案，所有到达医院的疑似 COVID-19 疾病患者和被认为可能患有 COVID-19 的住院患者都接受了 CT 检查。 根据当地指南，我们只包括不反对将其扫描用于研究目的的受试者的扫描，并且我们使用匿名数据。 研究使用许可是从我们的审查委员会获得的（文件号 CMO 2016-3045，项目 20027）。 打算通过荷兰国家 COVID-19 数据库共享这些扫描。 我们随机选择了 470 名受试者，并通过在一项研究中选择最小层厚的 CT 扫描，对每位受试者使用一次扫描。 扫描的像素间距在 0.5 毫米到 0.9 毫米之间，切片厚度为 0.5 毫米。 使用范围为 10mA 至 493mA 的 X 射线管电流和 100 或 120kVp 的管电压进行扫描。 重建中的卷积核是肺核（FC83，FC86）。 其中 370 次扫描用于训练，另外 100 次用于测试。 有关 COPD 集的训练和测试集的 GOLD 阶段分布以及 COVID-19 集的 CO-RADS 分数 [1] 的分布，请参见表 I。 CO-RADS 评分定义了对 COVID-19 的怀疑程度，并从放射学报告中提取。 在数据匿名化时无法获得逆转录聚合酶链反应 (RT-PCR) 测试的完整个体结果，但已知大多数测试案例对 COVID-19 呈阳性（这些测试案例重叠 与[1]中使用的数据）。 从两个训练数据集中，我们选择了 100 个扫描作为 COPD 集的验证集，我们从 COVID-19 集中选择了 50 个扫描进行验证，用于重新训练所有模型。
表 I：这项研究所使用的两组数据的特征。(a)列出了GOLD阶段和其他阶段的分布，参见COPD数据集中的[32]。(b)给出训练集和测试集的合作分数分布[1]。CO-RADS 得分1-6表明对2019冠状病毒疾病阳性疾病的怀疑程度，从非常低、低、模棱两可、高、非常高，分别从反转录聚合酶链式反应(RT-PCR)测试中确认为阳性
三、方法
我们将叶分割问题定义为体素分类问题。 给定扫描 I，目标是预测每个空间位置 i 的体素标签 l^i，其中 l^i ∈ 标签集 L ={0, 1, 2, 3, 4, 5} 表示背景，左上，左下 、右上叶、右下叶和右中叶。 在本文中，我们使用具有两个级联 CNN 的多分辨率方法来捕获叶分割的全局上下文和局部细节，如 [15] 中所提出的。 我们的框架如图 1 所示。除了使用多分辨率框架外，我们还引入了一种新颖的非本地模块来捕获结构化关系，并且我们高效的网络设计允许对我们的多分辨率框架进行端到端训练。 对于每个 CNN，我们放置我们提出的非局部模块以最粗略的分辨率聚合特征的关系信息，因为这些特征通常表示高级语义，例如对象和对象部分 [34]。 所提出的非局部模块计算这些特征之间的视觉和几何对应关系，自然地建模对象和对象部分之间的关系。 几何信息的使用受到 [14] 的启发。 此外，所提出的非局部模块可以扩大这些特征的感受野，因为一个非局部响应的计算涉及特征图中的所有特征。 我们将在每个阶段都带有提议的非本地模块的 CNN 称为关系 U-Net (RU-Net)，详细信息将在本节后面进行解释。
图1：具有两个 CNN 级联的叶分割框架的概述。 在每个阶段，CNN（RU-Net）使用提出的非局部模块来捕获对象和对象部分之间的结构化关系。 RU-Net I 的输出与裁剪的 3D 补丁连接，作为 RU-Net II 的输入。
1.级联关系U-Net
第一个RU-Net以下采样分辨率读取输入扫描，以粗略分割波瓣和波瓣边界。随后通过三线性插值将这些粗输出上采样到更高的分辨率。高分辨率输入扫描和第一个RU-Net的输出被串联并裁剪成3D补丁作为输入，以训练第二个RU-Net精确分割瓣和瓣边界。两个关系u网的级联是端到端训练的，允许在相同的优化过程中学习本地细节和扫描级上下文。此外，我们使用在第一个RU-Net的预测中发现的错误来最佳地采样3D补丁以训练第二阶段，这鼓励第二个RU-Net专注于第一个RU-Net失败的区域。这种技术可以看作是在线硬示例挖掘的一种形式。[35]。
2.关系U-Net
关系U-Net体系结构 (RU-Net) 是3D U-Net体系结构 [24]，具有较少数量的卷积滤波器和额外的非本地模块。RU-Net在编码路径中有三个下采样层，每个层由两个卷积和一个最大池化操作组成。沿着下采样路径，再使用两个卷积将卷积滤波器的数量增加一倍。然后，我们在向上采样之前放置非本地模块。在上采样路径中，使用三层来重建分辨率，每个层包含一个三线性插值，然后是两个卷积以减少插值伪影。最后，通过两个并行输出分支中的单个1 × 1卷积来重塑特征，每个特征对应于不同的学习目标; 一个人产生6通道softmax概率，用于分割背景和五个瓣。另一个通过sigmoid函数提供单通道概率图，用于预测波瓣边界。对3 × 3卷积的特征进行批量归一化，并通过整流器线性单元 (Relu) 激活。不使用dropout。第一个RU-Net使用填充卷积，而第二个使用有效的卷积。表II中提供了有关两个阶段的RU-Net网络体系结构的详细信息，其中下采样层的名称以 “下” 为前缀，而上采样层的名称以 “上” 为前缀。列出的数字基于执行顺序。
表II：关系 U-NETs 的第一和第二阶段的架构。卷积过滤器由内核大小和过滤器数量 NAS K×K×K,N 命名（全部为 1 步）。非局部线性嵌入参数在 EQS.(3) 和 (5) 中定义。表示在双路径中执行的操作
3.非局部模块
4.Online Hard Example Mining（OHEM算法）
如图 1 所示，使用红色虚线，我们计算第一个 RU-Net 的 lobe-wise softmax 概率与 lobe 参考标准之间的均方误差 (MSE)。 然后我们遍历所有滑动窗口 3D 补丁，找到 MSE 积分最高的 K 个补丁，并将它们用于训练第二个 RU-Net。 K 设置为 1.0，以便在开始时使用所有补丁进行训练并不断减少，直到在训练过程结束时它仅覆盖大约 20% 的扫描体积。 所提出的在线硬样本挖掘不会在网络上引入额外的前向和后向传播，因此额外的计算成本是微不足道的。
另：
OHEM是CVPR2016的文章，它提出一种通过online hard example mining 算法训练Region-based Object Detectors，其优点：
1.对于数据的类别不平衡问题不需要采用设置正负样本比例的方式来解决，这种在线选择方式针对性更强。
2.当数据集增大，算法可以在原来基础上提升更大。
当我们遇到数据集少，且目标检测positive proposal少时，一般实验效果会不如人意，可以试试OHEM也许可以带来不错的效果。
5.学习目标
每个 RU-Net 有两个学习目标：叶分割和叶边界分割，受 [12]、[15] 的启发。 因此，最终的损失函数是四项的总和，每一项都是广义 Dice 损失 [36]。 波瓣边界参考是通过检测对象边界从波瓣参考预先计算的。 广义 Dice 损失定义为：GLD。
四、实验
由于最近才出现 COVID-19 大流行，因此不可能获得大量带有 COVID-19 患者注释的 CT 扫描。 因此，我们在实验中使用了迁移学习方法。 为了在 COVID-19 数据上训练模型，使用我们在 COPD 数据集上开发的模型的训练权重对模型进行初始化。
1.训练细节
每个实验的训练、验证和测试均在配备 NVidia TitanX GPU 和 12 GB 内存的机器上进行。这些方法是使用 Python 3.6、Pytorch 1.1.0 库 [37] 实现的。每种方法的可训练参数在从头开始训练时使用 Kaiming He 初始化 [38] 进行初始化，并使用动量为 0.9 的随机梯度下降进行优化，初始学习率设置为 10e-6。初始模型使用来自 COPD 数据集的 CT 扫描进行训练。因此，这些模型可能不熟悉 COVID-19 扫描中的视觉模式。为了有效地训练新的视觉模式，所有模型都使用广义 Dice 损失（如我们用来训练初始模型）和 top-K 交叉熵损失之间的组合损失重新训练，其中 K 设置为所有体素的 30%输入。 top-K 交叉熵损失被简单地实现为体素交叉熵损失，但仅选择具有最大交叉熵的 K 体素进行反向传播。
2.与之前的工作对比
我们将我们的方法与三个基线、著名的 3D U-Net 和最近发表的两种 CT 中叶分割方法进行了比较。
1) 3DU-Net：我们按照原始论文 [24] 实施了 3DU-Net。输入是从预处理扫描中随机裁剪的两个 132×132×132 3D 补丁的小批量（参见 IV-D）。由于使用了有效卷积，该网络的输出为 44 × 44 × 44 体素。在测试期间，所有 3D 补丁的 softmax 概率通过在整个扫描上滑动而不重叠来平铺在一起，以构建扫描级概率图。然后通过将每个体素分配给概率最高的标签来进行最终预测。
2）FRV-Net和PDV-Net：我们将提出的方法与两种现有的端到端叶分割方法进行比较。 FRV-Net [12] 遵循 V-Net [16] 的设计，并在上采样路径的几乎所有尺度上广泛使用深度监督的思想。 PDV-Net [13] 使用密集连接，继 DenseNet [17] 之后，设计具有相当大的感受野的网络来捕获上下文信息。 PDV-Net 将整个 CT 扫描作为输入，因此具有学习全局信息的潜力。请注意，这两部作品都有特定的预处理和后处理策略。 FRV-Net 中的输入扫描被调整为 128 × 256 × 256 的固定大小，并且强度被限制在 [-1000 ∼ 400] HU 的范围内。在 PDV-Net 中，输入扫描被调整为 128 × 512 × 512。我们尽最大努力在论文之后实现了这两种架构。
3.消融研究
为了评估提议的非局部模块在RTSU-Net中的贡献，我们进行了几项消融研究。在这些实验中，使用COPD训练集从头开始训练模型，并在新型冠状病毒肺炎上进行再训练，并在1000例COPD测试集上测量性能。
4.预处理和后处理
所有训练和测试扫描都通过在重新缩放到 [0 ∼ 1] 之前将强度值钳制在 [-1200 ∼ 400] 范围内进行标准化。 然后使用三线性插值对所有扫描进行下采样，以获得 256 × 256 的平面内分辨率，同时调整 z 间距以使扫描各向同性。 我们提出的方法的第二个 CNN 的输入大小由两个 116 × 116 × 116 大小的 3D 补丁组成。 使用三线性插值作为第一阶段的输入（如果 z 轴上的大小不能被 16 整除，则需要用零填充）对预处理扫描进行了 2 倍的下采样。 第二阶段所有 3D 补丁的 softmax 概率输出通过在整个扫描上滑动而不重叠来平铺在一起，以生成扫描级概率图，该概率图用于通过将每个体素分配给具有最高值的标签来生成最终预测 可能性。 作为后处理步骤，然后通过最近邻插值对预测进行上采样，以匹配扫描的原始分辨率。 所有评估都是通过使用原始分辨率的预测和参考分割来执行的。
5.评估指标
预测和分割参考之间的联合交集（IOU）和平均对称表面距离（ASSD）用于分割性能的定量评估。两个二进制掩码X，Y之间的IOU定义为：IOU（X，Y）=|X∩ Y | / | X∪ Y |，表示两个表面为SX，SY，从掩模X，Y开始，表面上的坐标索引为X，Y。平均对称表面距离（ASSD）定义为：ASSD（X，Y），其中d（·）是欧氏距离，|SX |和| SY |分别是SX和SY的表面积。除了基于肺叶的测量外，我们还通过将所有肺叶的联合作为肺来评估肺分割任务中所有模型的性能。此外，我们通过计算预测和分割参考之间叶间边界的平均对称表面距离，添加了一个度量来测量裂缝对齐度。通过计算每瓣指标的平均值来评估该方法的整体性能。采用Wilcoxon符号秩检验来评估绩效差异是否具有统计学意义（经Bonferroni校正后p<0.01）。此外，我们还计算了多重加法运算（MAC）的数量和参数的数量，以评估计算效率。我们还与独立的人类读者就100名COPD受试者的子集进行了比较。
五、结果
1.定量结果
表 III 报告了两个数据集的定量结果。在所有测量中，所提出的方法在两个数据集（P < 0.01，Bonferroni 校正）上均显着优于基线方法和两种已发布的端到端叶分割方法。考虑到较小的标准偏差，我们的模型还表现出更稳健的性能。图 2 中提供了箱线图。这些图表明，对于 COVID-19 和 COPD 病例，右中叶是最难分割的，鉴于其已知的高度变化和形状差异，这不足为奇。事实上，小裂缝通常不完整甚至不存在。 RTSU-Net 在两个数据集上明显优于其他方法。还可以观察到，低 IOU 的异常值较少，表明 RTSU-Net 更健壮。
表 III：量化结果在慢性阻塞性肺病和COVID-19测试集。借据和ASSD(毫米)指标给出平均值±标准偏差。黑体表示结果明显好于其他与BONFERRONI调整(p < 0.01)
图 2：COPD数据集 (上) 和新型冠状病毒肺炎数据集 (下) 上不同方法的IOU每叶的箱形图和晶须图。
在计算效率方面，所提出的方法比基线方法消耗的内存更少，多加操作 (MAC) 仅略有增加。因此，我们得出结论，所提出的方法在没有引入大量计算开销的情况下优于其他方法。所提出的方法在测试时平均在 30 秒内处理一次扫描，其中大约 20 秒用于模型推理，其余时间用于预处理和后处理。
2.消融研究
表 IV 显示了消融研究的结果，我们比较了没有非局部模块的两阶段级联框架、没有几何项的具有非局部模块的框架和 RTSU-Net。 COPD 和 COVID-19 数据的结果证明了非局部模块的附加值，并表明几何特征的引入提高了单独的非局部模块的性能。 这种效果对于表面距离度量最为明显。
表 IV：非局部模块（NON-LOCAL）和几何特征（GEOMETRIC）两个数据集的消融研究进入两级级联框架。 粗体字表示结果明显优于同一列中的其他结果（使用 BONFERRONI 校正，p<0.01）
3.非局部模块的影响
从理论上讲，所提出的非本地模块可以有效地实现全局接受场，而不是使用积极的下采样输入或依赖更深层次的CNN架构。为了测量非局部操作之前和之后的有效感受野 (ERF) 大小，我们计算了特征映射F中位置I处的特征到输入图像i的梯度，即我们在新型冠状病毒肺炎测试装置的ct扫描中对第一个RU网进行正向传递。在图3中，对于三个正交切片，在非本地操作之前和之后在相同对应位置处的特征的ERF可视化。
该图以绿色呈现非零梯度，并以红色正方形指示ERF的中心。中心是通过上采样从特征图中选择的特征到输入图像的映射坐标。因此，可能会发生轻微的偏移。左图显示了由于堆叠卷积的性质而将非局部操作包含在正方形中之前的ERF。但是，右侧非局部后的ERF显示为非正方形分布，到达肺的另一侧。因此，我们得出结论，非局部模块可以显着扩大有效感受野。
为了研究特征之间的结构化关系，我们在给定特征图x和几何特征 μ 的情况下，可视化了位置i处特征的自我注意权重。我们对新型冠状病毒肺炎测试装置的两次ct扫描进行了第一阶段RU-Net的正向传递。注意权重是来自等式2的与f(xi，x j ) τ(μ i，μ j) 相对应的自注意矩阵中的第i行向量。图4 (a) 显示了位置i的特征 (绿点) 主要取决于健康肺存在时肺叶内的信息。我们还可以清楚地看到注意力权重跟随肺叶边界。图4 (b) 显示了多个毛玻璃病变的病例,其中代表右中叶附近区域的特征与在整个肺中呈现其他区域的特征之间的相互作用。有趣的是，我们注意到，通过在非局部模块中引入几何术语，注意力权重也对应于肺边界框。
图3：通过在 COVID-19 测试集的 CT 扫描上对第一个 RU-Net 运行前向传递，在非本地模块（第 2 行）之前和之后（第 3 行）之前的有效感受野 (ERF)。绿色区域表示输入扫描中对应于红色方块（第 1 行）的位置处的特征的非零梯度（相对于输入扫描）。
图4：来自提议的非局部模块的Self-Attention权重（第2行），用于使用原始输入扫描（第1行）中的绿点显示其位置的特征。 我们为此图使用彩色地图喷射 [39]。 显示了来自 COVID-19 测试集的两次扫描。 (a) 主要展示了清晰肺叶内的特征依赖性。 (b) 表示当目标叶受到疾病影响时需要长期依赖。
4.定性结果
图 5 从上到下显示了 3D U-Net、PDV-Net [13]、FRV-Net [12] 和 RTSU-Net 的结果。为了比较，底部行提供了参考分段。我们选择了 3 例 COPD（4-6 列）和 3 例 COVID-19 病例（1-3 列），具有不同程度的病理和解剖变异。我们观察到所有方法通常不会产生肺的过度分割。通过捕获特征依赖关系，我们看到所提出的方法通常会生成更平滑的肺叶边界，甚至能够在肺充满液体时推断出近似正确的肺叶形状（第 1 列）。
图5：六个代表性测试用例的分割结果的定性比较。左三列显示 COVID-19 病例，右三列显示 COPD 病例。从上到下：输入图像、3DU-Net 基线、PDV-Net、FRV-Net、提出的 RTSU-Net 和分割参考。 蓝色右上，紫色右中，深绿色右下，红色左上，绿色左下叶。
5.与人类读者比较
为了评估人类的表现，我们要求两名独立的人类读者（分析师）从头开始手动分割肺叶，给定肺的分割。他们的结果是在 COPD 测试集中的 100 次随机扫描中评估的。人类读者平均达到 0.953 ± 0.017 IOU 和 0.501 ± 0.193 ASSD（以毫米为单位），而 RTSU-Net 达到 0.953 ± 0.015 IOU 和 0.541 ± 0.231 ASSD。人类阅读器和 RTSU-Net 方法都明显优于其他方法。在肺分割方面，分析师平均达到 0.974±0.015 IOU 和 0.34±0.214 ASSD，而 RTSU-Net 平均达到 0.977±0.009 IOU 和 0.325±0.2 ASSD。关于裂缝对齐，分析师平均达到 0.686±0.361 ASSD，而 RTSU-Net 平均达到 0.835±0.398 ASSD。我们得出结论，RTSU-Net 方法在分割肺和肺叶方面的表现与人类相当。
6.在LOLA11上验证
我们已经将我们的方法应用于LOLA11挑战的55次扫描，可在https://lola11.
grand-challenge.org/查看。这是一个独立的测试集，由于存在大体病理学，其中大约一半的扫描很难分割。在一些扫描中，肺叶边界是完全看不见的。我们的方法（提交日期2020年5月3日）在肺叶分割中的平均IOU为0.9197，在肺分割中的平均IOU为0.9706。在提交尚未发布的LobNet变体（提交日期2019年11月20日）后，该分数与其他顶尖参与者相当，在自动肺叶分割方法方面排名#2。
六、讨论与结论
我们提出了一种使用关系两阶段卷积神经网络在 CT 图像中分割肺叶的新方法。所提出的方法能够捕获高级卷积特征之间的视觉和几何对应关系，这可以表示对象和对象部分之间的关系。这个提出的非局部模块也可以用来有效地扩大卷积特征的感受野。该模块可以很容易地用作其他计算机视觉任务（例如对象检测和分类）中的通用神经网络层。
我们在结果中表明，学习特征依赖性显着提高了 COPD 和 COVID-19 数据集上的肺叶分割性能。消融研究中的平均对称距离度量表明，使用几何特征可以有效地生成更精确的对象边界。这也可以从定性结果中观察到，其中所提出方法的波瓣边界与参考波瓣形状更一致。在不依赖于先前的肺分割的情况下，我们的方法作为一个端到端的肺叶分割框架，也可以用于肺分割，通过将每个肺的肺叶结合起来。在计算效率方面，我们的方法保持与标准 3D U-Net 和之前提出的其他两种肺叶分割方法相同水平的多加操作 (MAC)。与标准 3D UNet 相比，它需要更少的可训练参数。我们的方法可以在具有 12 GB 内存的消费级 GPU 上进行训练和测试，全分辨率 CT 扫描的测试速度约为 30 秒（深度学习推理为 20 秒，预处理和后处理为 10 秒）。
对于 COPD 患者扫描中的肺叶分割，先前发表的 LobeNet 方法 [15] 报告了 COPDGene 的 1076 次扫描的出色性能，ASSD 为 0.138 mm，远低于体素分辨率，远低于 RTSU-Net 和独立人类分析师的分辨率在本研究的一组 100 次 COPD 基因扫描中实现（第 V-E 节）。这些指标不能直接比较，因为 [15] 使用了不同的扫描集和部分由软件包提供的参考。对于未来的研究，直接比较这两种方法会很有趣。在 LOLA11 上，LobeNet 以非常小的优势胜过 RTSU-Net。我们注意到 RTSU-Net 在扫描中的失败，其异常不同于 COPD 和 COVID-19 训练数据中发生的异常。
在对 COVID-19 导致的重症肺炎患者的扫描中进行肺叶分割并非易事。在这项工作中，我们仅使用 370 个 COVID-19 CT 扫描进行训练。由于对 4000 次 COPD 扫描进行了预训练，我们仍然使用少量训练集获得了良好的结果，并且我们能够提供对毛玻璃、固结和疯狂铺路的存在稳健的肺叶分割。肺叶分割是在 COVID-19 CT 扫描中准确量化肺损伤的重要先决条件。图 5 显示标准 3D U-Net（第 2 行）、PDV-Net（第 3 行）和 FRV-Net（第 4 行）可能会漏掉固结区域（第 3 列），而 RTSU-Net 准确地找到了肺叶。当该肺叶完全充满胸腔积液（第一列）时，RTSU-Net 的性能也相当不错。
尽管如此，我们也看到，有时所提出方法的分割边界不正确（第 3 列，右上叶在叶边界向肩部显示出轻微的过度分割），我们假设更大的训练集将进一步提高性能，特别是对于在当前训练扫描中尚未很好表示的严重病理变化的病例。尽管如此，这里提供的结果足以进行进一步分析，我们相信它们将在自动每叶严重性评分中证明是有用的。这是未来研究的课题。
我们在 https://grand-challenge.org/algorithms/ 上免费分享我们的分割算法，并提供公共数据的结果，例如来自 https://coronacases.org/ 的扫描结果。
总结
372
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
