ScanNet: A Fast and Dense Scanning Framework for Metastatic Breast Cancer Detection from Whole-Slide

SheyofPretoria

已于 2022-03-30 14:29:39 修改

阅读量482

点赞数

分类专栏：医学影像处理文章标签：机器学习深度学习

于 2022-03-29 17:17:17 首次发布

原文链接：https://www.researchgate.net/publication/318813975_ScanNet_A_Fast_and_Dense_Scanning_Framework_for_Metastatic_Breast_Cancer_Detection_from_Whole-Slide_Images

版权

医学影像处理专栏收录该内容

4 篇文章 0 订阅

订阅专栏

淋巴结转移是乳腺癌最重要的诊断指标之一，传统上病理医师在显微镜下观察。近年来，计算机化组织学诊断已成为医学图像计算领域发展最快的方向之一，其目的是减轻病理医师的工作量，同时降低误诊率。然而，由于数据规模大，分辨率高，且存在硬模拟，导致大量的误报，从整个幻灯片图像中自动检测淋巴结转移仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的框架，利用全卷积网络进行高效推理，以满足临床实践对速度的要求，同时在不同偏移量下重建密集预测，以确保精确检测微转移和宏观转移。结合异步样本预取和硬负挖掘策略，可以对网络进行有效的训练。在2016年Camelyon Grand Challenge的基准数据集上进行的大量实验验证了该方法的有效性。与最先进的方法相比，我们的方法在肿瘤定位任务上取得了更好的性能，速度更快，在WSI分类任务上甚至超过了人类的性能。

方法

图3(上)展示了我们提出的用于WSIs转移性乳腺癌检测的快速密集扫描框架(简称ScanNet)的管道。首先，我们采用一种简单而有效的方法去除输入WSI的非信息区域。然后将预处理后的图像输入到具有密集重建机制的改进FCN中，实现高效、密集的预测。最后，我们利用简单的形态学运算来改进结果。

分治策略

在进入细节之前，我们首先从全局的角度来阐述分治的策略，即如何将如此巨大的WSI划分为roi，然后再将其输入ScanNet。然后，我们从局部的角度来关注如何征服ROI的细节，包括网络设计和密集重构机制。由于WSI的巨大规模，分治策略使在GPU内存有限的情况下自动处理这样的十亿像素级图像成为可能。具体来说，预处理时进行分割，随后ScanNet分别对roi进行预先选择和征服。然后，从roi得到的单个概率块被拼接在一起，生成如图3(下)所示的整个预测图。ScanNet本质上属于FCN结构的队列，相当于输入大小为 $L_{f}$ ，滑动步长为 $S_{f}$ 的patch。在这里，我们称 $L_{f}$ 和 $S_{f}$ 为ScanNet的内部输入大小和内部步幅(由于尺寸是方形的，我们以边长表示)。一个贴片对应一个预测值，一个贴片沿着一个维度在WSI上滑动n次将产生n + 1个预测值，也就是说，一个 $L_{r}=L_{f}+n*S_{f}$ 大小的ROI将产生一个 $L_{p}=n+1$ 大小的概率贴片。为了确保相邻的具有不同偏移量的概率块能够无缝拼接，没有缝隙和重叠，使用滑动步距 $S_{r}=S_{f}*L_{p}$ 获取roi，如图3 (b)至(c)所示。综上所述，应满足如下规则:

基于扫描预处理的WSI快速转移检测

据观察，一个典型的WSI超过70%的区域被无信息背景所覆盖，这对癌症评估是无效的。为了去除这些区域，节省计算成本，我们采用简单的OTSU算法确定自适应阈值，过滤掉大部分白色背景。然后，基于OTSU掩码，预先选择包含信息区域的roi。此外，为了加快此操作，我们利用金字塔结构的优点，采用多级映射策略进行OTSU算法，如图1 (b)所示，即我们先对下采样(如5级)图像进行过滤，然后将过滤后的图像映射回原始(0级)图像，在预处理步骤中实现了十几倍的加速。

从局部角度来看，我们提出利用一种改进的FCN(即ScanNet)，利用其采用任意大小的图像作为输入的优势，在大型WSIs中进行快速预测。与通常用于分割任务的标准FCN不同，我们的ScanNet没有上采样路径，上采样路径对于分割来说是必须的，但对于检测任务来说不是必须的。此外，由于WSIs的规模较大，上采样路径会大大减缓检测过程。利用FCN无上采样路径，我们的方法可以高效、准确地输出一个比输入图像小得多的概率块。我们进一步利用一种重建算法(将在下一小节中详细阐述)，通过组装这些小块图片来生成一个更密集的图像。

我们实现该ScanNet基于修改VGG-16网络代替过去三完全连接层与完全卷积层1024×1024×2(即内核大小1×1)。为了避免边界效应FCN预测，padding操作从我们的架构中删除，如表1训练阶段所示。基于此修改，我们的ScanNet可以享受从大量自然图像中学习到的传输特性，这证明了在没有迁移学习的情况下的持续改进。在训练阶段，我们使用随机从WSIs中裁剪的大小为244的patch样本来训练ScanNet。在预测阶段如表1所示，通过利用完全卷积架构的优点，我们ScanNet可以具有大尺寸的ROI $L_{r}= 2868$ (取决于GPU内存的最大容量)作为输入，输出概率图 $L_{p}=83$ ，如等式(1)所示，通过这样一种方式，通过去除冗余的卷积计算，我们的ScanNet处理WSI的速度比基于patch的分类方法快数百倍。

为了增强网络的学习过程，我们采用了以下有效的训练策略:异步样本预取。在训练阶段，一直存在较大的I/O瓶颈，GPU在等待取批训练数据时，经常处于空闲状态。为了解决这个问题，我们采用了异步样本预取机制，CPU的多个生产者进程准备训练样本，GPU的一个消费者进程消耗训练数据。该策略可以使GPU一直运行，在训练阶段加速至少10倍。

数据增强对于缓解过拟合问题具有重要意义。利用动态抓取的优点，我们可以非常灵活地增加样本，包括平移、旋转、缩放、翻转和颜色抖动。

虽然WSIs中存在大量的负训练样本，但大多数都能很容易地与真正的转移灶区分开来。为了增强我们的ScanNet的识别能力，我们将之前训练过的分类器的假阳性样本，即硬负挖掘(hard negative mining, HNM)样本，加入到训练数据中。该策略使训练过程更加有效，专注于困难案例，有助于显著提高识别性能。

密度重建机制

为了进一步提高检测性能，我们提出了一种生成密集预测的密集重建机制，该机制不受FCN内部stride的约束。FCN结构的内部stride受限于其池化层数，如由VGG-16修改的5个池化层ScanNet相当于patch-wise CNN网络，stride $2^{5}=32$ 2。因此，网络越深，池化层越多，生成的概率图越稀疏。这使得很难在深层结构和密集预测之间取得平衡。我们观察到，通过一定的偏移量移动ROI，我们可以捕捉到FCN内部步幅间隔中错过的视图，如图4所示。基于此，我们建议整合这些缺失的视图，以重建一个更密集和更精确的视图。这个过程与插补机制有很大的不同，如图4所示。用于重建的密集概率片(DPTs)的输入是由给定偏移量的ROI生成的概率片，称为偏移概率片(OPTs)。OPTs $p_{ij}$ 由经过良好训练的ScanNet F在给定某个ROI图像 $I_{r}$ 及其偏移向量 $\overrightarrow{O_{ij}}$ 时生成，如图3(下)所示。我们将DPTs尺寸与OPTs尺寸的比值定义为密度系数α， OPTs可以表示为:

其中， $\overrightarrow{O_{ij}}$ 由重建后DPTs的内步幅 $S_{d}$ 和重建前OPTs的内步幅 $S_{f}$ 决定，其中 $S_{d}=\frac{S_{f}}{a},S_{f}=2^{5}$ ，即5 pooling在我们的ScanNet中，每一层都有一个stride 2。然后,我们可以通过交替交织opt来计算DPTs。假设(h'，w')是位置的坐标，概率p(h'，w')可计算为:

例如， $S_{f}=3^{2}$ 是重建前ScanNet的内部步幅。如果密度系数α = 2(即 $S_{d}$ = 16)，我们应该根据四个偏移向量((0,0)，(0,16)，(16,0)，(16,16))从 $I_{r}$ 生成四个OPTs (p00, p01, p10, p11)。与重建获得dpt的集合之后,我们缝在一起生成最终概率图,如图3所示(b) (c),所获取的步幅roi, 用 $S_{r}$ 表示,应该满足等式(1)，以下重写约束:Sr = Sd∗Ld, Ld是dpt的边长。因此，我们可以像往常一样简单地缝合无重叠的DPTs，而无需改变之前设计的roi的尺寸 $L_{r}$ 和stride $S_{r}$ 。缝合后的概率图与原WSI之间的位置关系(高度H，宽度W可以用类似的方法表示)可以通过以下方法确定:

其中 $H_{I}$ 是原始WSI空间的索引， $H_{P}$ 是拼接概率图的索引， $L_{f}$ 是ScanNet的内部输入大小。最后，对图像进行形态学扩展处理，去除小离群点。对于定位任务，将二值化概率图(实验中经验阈值设为0.5)中的每个连通分量作为检测，其得分等于该区域内的最大概率。对于WSI分类任务，预测被简单地计算为幻灯片内的最大分数，没有任何复杂的后处理程序。

实验

数据集

我们在ISBI 2016 Camelyon16基准数据集上对该方法进行了评价。该挑战包括两个任务:肿瘤区域定位和WSI分类。Camelyon16挑战赛的数据包含了总共400张前哨淋巴结的全幻灯片图像，来自两个独立的数据集，收集于拉德堡德大学医学中心和乌得勒支大学医学中心。数据集的详细信息如表2所示。训练数据包括160个正常WSIs和110个肿瘤WSIs，并由经验丰富的病理学家提供像素级注释。采用130个WSIs的测试数据进行效果评价。

实验设置

我们的框架是在配备了12gb Geforce GTX TITAN X GPU的工作站上使用TensorFlow库实现的。我们将ScanNet训练分为两个阶段，即一般样本学习和硬负样本学习。每次迭代批量大小设置为75，以充分利用GPU内存。在第一学习阶段，在没有硬负样本的情况下，使用ImageNet预先训练的VGG-16模型对ScanNet进行初始化。在第二个学习阶段，我们开始通过对硬负样本的迭代放大和再训练来不断地微调我们的模型。该挑战包括两个任务，即肿瘤区域定位和WSI分类。第一个任务基于(FROC)曲线进行评估。FROC评分被定义为在6个预定义的误报率下的平均灵敏度:1/4,1/2,1,2,4和每扫描8个误报率。第二个任务使用AUC评分进行评估，即ROC曲线下的面积。

定量结果

我们在图5中举例说明了我们方法的转移检测结果的典型例子，可以看出我们的heatmap与经验丰富的病理学家的注释高度一致。图5中第一、二列为典型的直径大于2mm的宏观转移灶。我们观察到，我们的热图与病理学家的注释高度一致。图5中的第三和第四列分别是典型的微转移灶和直径分别小于2mm和0.2mm的离体肿瘤细胞(ITCs)。我们观察到，我们的热图也对这种微案例和稀疏扩散的itc高度敏感。这些定性结果表明，我们的方法能够稳健、准确地处理不同大小的转移灶，特别是在具有挑战性的微转移灶和ITC转移灶中表现良好。

定量评价与比较

为了探索我们的方法的有效性，我们首先评估我们的ScanNet在不同配置下。我们将α设置为1和2，以在我们的ScanNet中产生密集的预测，并分别称它们为“ScanNet-32”和“ScanNet-16”。注意，一般来说，较大的α值意味着网络可以产生更密集的预测。从表3中可以看出，ScanNet-16的结果明显好于ScanNet-32，说明更密集的框架可以更好地预测转移，尤其是micro和ITC病例。我们进一步评估了ScanNet-32有和没有硬负面挖掘策略的性能，结果列在表3的最后两行。ScanNet-32使用硬消极挖掘策略的性能在所有指标上都显著优于不使用该策略的对手。这证明了硬负向挖掘策略对解决医学图像分析中常见的具有大量负样本的严重类别不平衡问题的有效性。我们还将我们的方法与几种最新的方法进行了比较，如表3所示，图6给出了不同方法的FROC和ROC曲线。在肿瘤定位任务中，我们的方法在所有方法中表现最好，FROC得分最高，为0.8533，显著高于亚军团队4.6%的差距。值得注意的是，我们的表现超过了病理医师0.7325的表现12%以上。在WSI分类任务中，我们的AUC得分为0.9875，对肿瘤定位概率图进行了简单的后处理，也超过了病理学家的表现0.9660，与领先的方法0.9935相比有相当有竞争力。