论文：SRPN 生物细胞检测

SRPN: similarity-based region proposal networks for nuclei and cells detection in histology images

基于相似性区域提议网络

论文：https://arxiv.org/abs/2106.13556
代码：https://github.com/sigma10010/nuclei_cells_det

更多 生物医学图像处理

---

在组织学图像中检测细胞核和细胞在临床和病理研究中都具有重要的价值。然而，由于细胞核或细胞形态的变化等多种原因，传统的目标检测方法在很多情况下无法获得满意的性能。一个检测任务由分类和定位两个子任务组成。在密集目标检测条件下，分类是提高检测性能的关键。考虑到这一点，我们提出了基于相似度的区域建议网络(SRPN)来检测组织图像中的细胞核和细胞。特别地，为网络构建设计了一个自定义的卷积层，称为嵌入层。在区域建议网络中加入嵌入层，使网络能够基于相似度学习去学习有区别的特征。与传统方法相比，通过相似度学习获得的特征可以显著提高分类性能。

---

病理学受益于数字扫描技术的快速发展在过去十年。如今，载玻片扫描仪能够产生超分辨率的全载玻片(WSI)，也称为数字载玻片，它可以作为传统显微镜的替代方法被图像观看者探索。WSI与其他显微镜和分子病理学图像的使用带来了数字病理学的发展，进一步使数字诊断成为可能。欧洲已经开展了数字病理学的标准化工作。此外，WSI的可用性使得应用图像处理和识别技术来支持数字诊断成为可能，打开计算病理学的新篇章。已经有一些计算病理学工具支持病理学家进行非常常规的工作，例如分割细胞核[3]-[5]或肿瘤[6]，以及在组织病理学图像[7]-[9]中对癌症进行分类。由于数字病理和计算病理在未来的病理实践中具有广阔的应用前景，因此，数字病理和计算病理一直备受关注。

基于数字切片的肿瘤诊断和预后在临床医学和病理研究中都具有重要的价值。一份病理报告提供了癌症分期和进展评估的详细信息，可以帮助采用个性化治疗，并在肿瘤切除手术后提供更好的治疗和护理。一般来说，癌症的分期是由组织的分化、细胞的形态变化和分布等多方面决定的。在癌症分期的常规过程中，病理学家需要经常进行一些必要的操作来检查数字切片，比如识别特定的细胞或细胞核，标记或计数它们。这个过程是劳动密集型的，经常导致观察者之间的分歧。受过良好训练的专家经常报告彼此的不同意见。根据[12]的定义，计算病理学是一种很有前途的解决方案，可以提高病理常规效率，消除观察者间的变异性。然而，训练更有效的计算算法需要足够的数据，并且由病理学家获得大规模注解的病理数据集是昂贵的。即使有足够的病理数据集，内在复杂的形态学特征和变化使组织学图像分析成为一项具有挑战性的任务。

近年来，得益于强大的计算资源和大规模标记数据的可用性，深度学习在图像识别相关挑战方面取得了令人难以置信的进展，并已成为计算病理学的解决方案。在许多情况下，细胞核和细胞的形态和数字特征对癌症评估是有意义的。例如，诺丁汉系统通过将小管形成、核多形性和有丝分裂计数[13]的分数相加来对乳腺癌进行分级。在这些因素中，核的多形性可以指示癌症的发展程度，而有丝分裂计数可以评估肿瘤的侵袭性。细胞水平分析通常由病理学家使用显微镜或检查数字载玻片手工完成。这一过程是费力的，容易出错，有时不可能，因为在某些区域的细胞密度高。因此，建立一个能够自动、准确地检测、分割和量化数字切片中感兴趣的细胞核和细胞的计算模型要求很高。

不同实验室用不同平台制作的组织学图像不可避免地会导致细胞核和细胞的颜色、规模和形状的变化(图1)。重叠的细胞进一步增加了这项任务的内在复杂性。还有一些外部因素给细胞检测任务增加了难度，如标注标签质量和数量的缺乏以及类别的不平衡，这些都是生物医学图像分析中经常遇到的长期问题。各种基于CNN的系统已经被开发出来解决细胞检测的任务。一些工作直接应用发展良好的目标探测器性能优良的细胞检测。如Zhang等[14]成功应用Faster R-CNN[15]框架检测相衬显微镜图像中的粘附细胞;Yi等人通过将原始SSD适应于轻量级模型，解决了精确的神经细胞检测任务。虽然这些基于深度学习的系统在某些特定情况下取得了成功，但它们在更一般的情况下无法获得令人满意的性能。

细胞级目标的异质性和组织图像中存在的视觉挑战共同使这些目标的分类、检测和分割与自然图像中的目标完全不同。在设计相关的深度学习解决方案时，需要考虑并具体解决细胞和细胞核的独特形态性质。因此，在本研究中，我们提出了一种专门的相似性学习增强深度神经网络，利用最先进的技术来检测组织图像中的细胞级对象。主要贡献包括:

1. 量身定制的基于相似性的区域提议网络，用于解决组织图像中核和细胞检测的挑战，特别关注在高视觉方差和强烈遮挡发生的情况下检测单个核实例。
2. 一种新的网络结构，包括嵌入层，使相似性学习，提供表达和区分的特征，适合核和细胞检测任务。
3. 将所提方法应用于多器官核检测和印戒细胞检测两种不同的任务中，并与现有方法进行了比较，验证了所提方法的有效性。我们测试了多个CNN结构，以揭示它们对细胞核或细胞检测的影响。采用不同的损失函数对网络进行训练。

---

相关工作

目标检测

视觉目标检测定义为对给定图像中的感兴趣的目标进行定位和分类。经典的检测器框架主要包括三个过程:

1. 提出感兴趣区域(ROI)来预测候选边界框;
2. 从感兴趣区域提取特征向量进行分类;
3. 对ROI进行分类，细化相应的边界框。

通常采用滑动窗口的方法来搜索ROI。为了更好地考虑对象需要缩放和长宽比变化的情况，有人提出了一些策略，如将输入图像裁剪成不同的大小，或使用多个具有不同长宽比[17]和[18]的滑动窗口。

R-CNN是一个开创性的框架，利用CNN提取的区域特征进行目标检测。相对于之前的SegDPM等复杂集成系统，R-CNN取得了突破，在检测基准VOC 2012上取得了53.3%的平均精度(mAP)。但是，R-CNN的每个模块都必须单独训练，很难获得全局优化。Fast R-CNN被提出来解决R-CNN的这个限制。Fast R-CNN的训练采用多任务损失的端到端方式进行。此外，Fast R-CNN引入了ROI池化层，从特征图中提取区域特征。ROI 池化层应用最大池化将每个合理的ROI内部的特征转换成一个小的统一的特征图。这些变化使Fast R-CNN在准确性和推理速度方面都比R-CNN更好。尽管如此，Fast R-CNN使用的传统区域建议方法在计算上是昂贵的，并且基于手工制作的特征，这对性能造成了限制。为了消除基于区域探测器的这些限制，Ren等人提出了区域提议网络(RPN)，设计了一种数据驱动的、可学习的区域提议方式。所得到的检测器Faster R-CNN具有非常高的推理速度，表现出了出色的性能，使其成为实时目标检测系统。

Liu等人提出使用 特征金字塔网络(FPN) 来解决目标检测所面临的尺度变化问题。FPN的网络结构类似于U-net和堆叠沙漏网络。在RPN、Fast R-CNN和Faster R-CNN等自适应单尺度检测器中应用FPN可以在不增加推理时间的情况下显著提高每个基线的检测精度。改编的Faster R-CNN报道了关于COCO检测基准的最新结果。

除了尺度变化，背景和前景之间的类别不平衡是目标检测的另一个挑战。而不是使用策略的例子采矿、直观地丢弃一些简单的负面例子和样品之间的固定比率(例如,3:1)阴性和阳性[26],[27],林等人介绍 novel focal 损失解决抑制梯度类不平衡问题的简单采样。由此产生的检测器名为RetinaNet，它建立在RPN和FPN的基础上，但通过焦损失训练，它能够匹配之前的一级3检测器的速度，同时超过所有现有的最先进的二级检测器的精度。

相似性学习

相似性学习是一种很有前途的方法，可以在没有人类监督的情况下学习有效的视觉表示。这些方法通过对比阳性样本和阴性样本来学习视觉表征。为了从没有标记的数据中学习，在 这篇文献 中，作者建议将每个实例视为一个类，并对每个实例执行各种转换，以产生带有代理标签的训练集。通过使用实例类，我们可以抛弃人工监督。同时，实例类学习带来的计算复杂度也成为一个新的挑战。存储库(memory bank)被用来解决[30]，[33]，[34]的计算问题。有些作品使用批内样本作为负采样[35]-[37]，而不是使用存储库。对样本进行配对时，利用嵌入空间中的距离度量度量样本之间的相似性。在嵌入空间中，相似的样本比不同的样本更接近。基于嵌入空间中距离度量的各种损耗函数，如对比损失(contrastive loss)[29]和三元组损失(the triplet loss)[38]，被提出用于相似性学习。相似度学习被广泛应用于签名验证[39]、一次性图像识别[40]、目标跟踪[41]等任务。尽管其成功，相似学习很少用于分析组织病理学图像。在本文中，我们展示了学习多尺度嵌入的有效性，以一种对比的方式，核和细胞检测的数字组织图像，与适当的设计。

细胞核和细胞检测

细胞核和细胞的检测是数字化WSI中细胞水平分析的关键步骤，从中可以自动获取有用的临床线索，包括细胞分布和分类。与第II-A节中介绍的目标检测类似，细胞检测的方法已经从使用手工特征发展到利用学习特征。大多数早期的方法利用手工制作的低级视觉特征来编码信息，如形状[42]、边缘[43]、亮度[44]和纹理[45]，来检测WSIs中的细胞核或细胞。

如今，卷积神经网络通常被认为是更强大的学习图像表示从像素强度。由于其在学习鲁棒特征方面的优越能力，许多作品都采用神经网络来处理细胞检测的任务。一个简单的方法来使用分类网络检测相关的任务是训练一个分类器与小图像 patch 为目标对象,然后应用训练分类器进行预测大输入图像与一个滑动窗口的帮助下，他的中心像素分类为背景或前景。采用这种方法的一些早期工作在细胞水平的目标检测方面显示出了很好的结果，包括有丝分裂检测[46]，[47]和结肠癌组织学图像[48]中的核检测。然而，这种方法的一个主要缺点是不能处理对象尺度变化。不再使用细胞核和细胞检测的分类体系结构，进一步的工作部署了区域CNN (R-CNN)体系结构，其中尺度变化问题得到了很好的考虑。例如，Xu等人集成了改进的U-net和SSD，以多任务方式[49]检测和分割单元实例。然而在实际应用中，为自然图像设计和训练的神经网络在直接应用于生物医学图像时往往不能达到令人满意的性能。

另一种检测细胞核的方法是定位它的中心，而不是使用边界框。在[50]，[51]环境下进行核检测的工作有很多。在[50]中，一个回归模型预测并输出一个与输入图像大小相同的分数图。得分图的每个像素值表示其到最近核中心的反向距离。分数图的局部极值被认为是核中心。该模型简单易行，但其性能依赖于细胞密度和所有细胞核都呈圆形的假设。

细胞核分割是另一个备受关注的领域。用于测试细胞核检测方法的多器官核分割(MoNuSeg)数据集也支持核分割[52]。在此基础上，提出了[4]、[5]、[53]三种核分割方法。这些方法主要以U-Net为基础，辅以核轮廓正则化[54]、[55]和/或多尺度特征聚合[5]、[56]等辅助策略。Zhou等人提出了一种轮廓感知的核实例分割[54]的信息聚合方法。在他们的研究中，除了使用标准的平均Jaccard指数(AJI)进行分割性能评估外，他们还报告了MoNuSeg数据集上核实例检测的最先进的f1分数。实验第四节将提出的SRPN方法与上述基于有效度量的方法进行比较。

---

方法

给定一幅图像，在整个图像中检测感兴趣的目标的一种常用方法是使用锚框 (Faster R-CNN)。如下图所示，首先在输入图像的每个可能位置上覆盖大量锚框(对象边界框)作为对象(单元格)候选对象。然后调整网络(检测器)参数，同时细化候选边界框，并在训练过程中为每个候选边界框分配标签。通常情况下，为了考虑到物体的大小和形状的差异，每个候选位置会分配多个不同比例和高宽比的锚箱。在我们的实验中，我们使用了3个尺度和3个高宽比，每个位置有9个锚框。调整探测器参数的方法有很多种。该方法利用相似度学习的优势，实现了单元级目标检测的高性能。接下来，我们将从网络结构和损失函数两个方面详细描述所提出的方法。

使用锚箱进行对象检测的插图。对于特征图中的每个位置，多个具有不同尺度和高宽比的锚框被视为候选。黄色的方格大致表示神经网络的感受域。

---

架构

所提出的检测细胞核和细胞的网络结构如下图所示。起初,CNN骨干用于从输入图像中提取特征图的大小$C_0\times H_0\times W_0$ ($C_0$ 为RGB通道)，特征提取的CNN以来证明具有优良的鲁棒性等各种视觉相关任务分类[57],分割[58]和检测[19]。给定提取的C1通道特征图作为输入，卷积层(Conv1)将特征图的3 × 3像素局部区域编码为长度为C2的特征向量；我们的实验中C1= C2= 256。然后分别使用回归器和分类器头对每个特征向量进行预测，得到边界框数组和置信数组。

回归头(Conv2)编码默认锚框和相应的预测边界框之间的偏移量。

分类器头(Conv4)通过一个Softmax函数为每个预测的边界框分配一个表示前景或非前景的置信度。在分类器头之前，添加一个嵌入层(Conv3)，使相似度学习提高分类性能。

为了保持位置的一致性，在回归器、分类器或嵌入层中应用一个核大小为1×1的卷积层。锚框表示为一个4元组，由其左上角的一个坐标对及其高、宽组成，即C3= 4 × num anchor，其中num anchor为每个位置预测的锚的数量。C4= num anchor × dim embedding, C5= num anchor，其中dim embedding表示嵌入的维数，在我们的实验中设置为20。

相对于[15]提出的原始RPN设置，在分类器头之前添加嵌入层，使相似度学习，以提高核检测性能。在这个框架中应用相似学习背后的动机有两个方面。一方面，在同一类样本聚类、不同类样本分离的约束下学习到的嵌入具有更强的分辨力，特别是在嘈杂的背景中识别出特定类型的物体的情况下。一个性能良好的分类器对于构建一个优秀的目标检测器至关重要。另一方面，通过对样本进行相似度学习，通过控制采样过程，可以间接消除目标检测器所面临的类不平衡问题的影响。此外，我们可以从n个训练样本中生成最大的 $n^2$ sample对或 $n^3$ sample 三元组，这意味着样本的配对也是模型训练的数据扩充过程。总的来说，相似度学习范式对目标检测任务中的特征学习有显著的好处。

---

损失函数

根据第III-A节给出的网络架构，当给定一幅ground truth图像时，嵌入层输出一个大小为 $C_4\times H_4\times W_4$ 的嵌入数组，其中c4等于每个位置的锚点数量和嵌入的尺寸的乘积，即在我们的实验中9×20。为了进行监督学习，基于锚点与相应的ground truth之间的union (IoU)的交集，为每个锚分配一个表示前景或背景的标签。如果一个锚有一个高于正阈值的IoU(比如0.7)，那么它就被给出一个正标签1。如果IoU低于负阈值(比如0.3)，则给一个锚点一个负标签0。那些既不积极也不消极的锚将在训练中被过滤掉。

要使用相似度学习，生成嵌入对或三元组是关键步骤。给定一组嵌入 ε 1 = { ( ϵ i , p i ∗ ) ∣ i ∈ Z + } \varepsilon_1=\{(\epsilon_i,p^∗_i)|i ∈\mathbb Z^+\} ε1​={ (ϵi​,pi∗​)∣i∈Z+} ，其中，${ϵ}_i$ 表示第 $i$ 个锚的内嵌， p i ∗ ∈ { 0 , 1 } p^∗_i∈\{0,1\} pi∗​∈{ 0,1} 表示它的锚标签，很容易将 ${\epsilon }_1$ 转化为

1. 一组内嵌对 ε 2 = { ( ϵ i , ϵ i ′ , s i ) ∣ i ∈ Z + } \varepsilon_2=\{(\epsilon_i,\epsilon'_i,s_i)|i ∈\mathbb Z^+\} ε2​={ (ϵi​,ϵi′​,si​)∣i∈Z+} ， 其中 s i ∈ { 0 , 1 } s_i∈\{0,1\} si​∈{ 0,1} 表示内嵌 ${ϵ}_i$ 和 ${ϵ}_i^{\prime }$