细胞核和细胞在组织学图像中的检测在临床和病理研究中都具有重要的价值。然而，由于细胞核或细胞形态的变化等多种原因，使得传统的目标检测方法在许多情况下无法获得满意的性能。检测任务由分类和定位两个子任务组成。在密集目标检测条件下，分类是提高检测性能的关键。考虑到这一点，我们提出了基于相似度的区域生成网络(SRPN)，用于组织图像中细胞核和细胞的检测。特别地，一个被称为嵌入层的自定义卷积层被设计用于网络构建。在区域提议网络中加入嵌入层，使区域提议网络能够基于相似学习学习判别特征。与传统方法相比，通过相似学习获得的特征可以显著提高分类性能。SRPN可以很容易地集成到标准的卷积神经网络体系结构中，如Faster R-CNN和RetinaNet。我们在组织图像的多器官核检测和印戒细胞检测任务上测试了所提出的方法。实验结果表明，采用相似学习的网络在两项任务上的性能都优于同类网络。特别是，与之前的方法相比，所提出的SRPN在核分割和检测方面取得了最先进的性能，在印戒细胞检测方面取得了最先进的性能。源代码可在https://github.com/sigma10010/nuclei_cells_det公开获得。
方法
给定一幅图像，在整个图像中检测感兴趣对象的一种常用方法是使用锚框。如图2所示，首先在输入图像的每个可能位置上覆盖大量作为对象(单元)候选的锚定框(对象包围框)。然后在训练过程中调整网络(检测器)参数，同时细化候选包围盒，并为每个候选包围盒分配标签。通常情况下，为了考虑对象大小和形状的差异，会为每个候选位置分配多个不同比例和宽高比的锚框。在我们的实验中，我们使用3个尺度和3个纵横比，每个位置使用9个锚箱。调节探测器参数的方法有很多。该方法利用相似性学习的优势，实现了细胞级目标检测的高性能。接下来，我们从网络结构和损耗函数两个方面详细描述了所提出的方法。
网络结构
所提出的检测细胞核和细胞的网络结构如图3所示。起初,CNN骨干用于从输入图像中提取特征图的大小C0×H0×W0 RGB图像(C0 = 3),特征提取的CNN以来证明具有优良的鲁棒性等各种视觉相关任务分类[57],分割[58]和检测[19]。给定提取的C1通道的特征图作为输入，卷积层(convolution layer, Conv1)将特征图的3 × 3像素的局部区域编码为长度为C2的特征向量;在我们的实验中C1 = C2 = 256。然后分别使用回归器和分类器头对每个特征向量(H2 × W2)进行包围盒阵列和置信阵列的预测。回归头(Conv2)编码默认锚定框和相应预测包围框之间的偏移量。使用Softmax函数，分类器头(Conv4)为每个预测的包围盒分配一个可信度评分，指示前景或非前景。在分类器头之前，加入嵌入层(Conv3)，进行相似度学习，提高分类性能。为了保持位置的一致性，将核大小为1 × 1的卷积层应用于回归器、分类器或嵌入层。一个锚框被表示为一个4元组，由它的左上角的坐标对和它的高度和宽度组成，也就是说，C3 = 4 × num锚，num锚表示每个位置预测的锚的数量。C4 = num anchor × dim embedding, C5 = num anchor，其中dim embedding表示嵌入的维数，在我们的实验中设为20。
与原始RPN设置相比，我们在分类器头之前增加了嵌入层来进行相似度学习，以提高核检测的性能。在这个框架中应用相似学习背后的动机有两个方面。一方面，在同一类的样本聚类和不同类的样本分离的约束下学习到的嵌入更有鉴别性，特别是在从嘈杂的背景中识别出某一特定类型的物体的情况下。一个好的分类器对于构建一个优秀的目标检测器至关重要。另一方面，通过对样本进行相似性学习，通过控制采样过程，可以间接消除物体检测器通常面临的类不平衡问题的影响。此外，我们可以从n个训练样本中生成最多n 2个样本对或n 3个样本三组，这意味着样本的配对也可以作为模型训练的数据扩充过程。总的来说，相似性学习范式证明了在目标检测任务中特征学习的显著好处。
损失函数
根据III-A节中给出的网络体系结构,当给定一个与地面实况图像,嵌入层输出嵌入数组大小的C4×H4×W4 C4 =产品的数量每lo锚阳离子和嵌入的维数,也就是说,在我们实验9×20。为了进行监督学习，根据锚点与对应的ground truth之间的交集(IoU)，为每个锚点分配一个指示前景或背景的标签。如果锚有一个高于正阈值的欠条，比如0.7，对于任何地面真值盒，锚就被给予正标签1。如果所有地面真值框的IoU低于负阈值(例如0.3)，锚就会被赋予负标签0。在培训过程中，不积极也不消极的锚将被过滤掉。
在使用相似学习时，生成嵌入对或嵌入三联体是关键步骤。给定一组嵌入E1 ={(我p∗)|我∈Z +},我代表的嵌入我th锚和p∗∈{0,1}表示锚标签,很容易变换E1到1)嵌入一组对E2 ={(0我si) |我∈Z +},在si∈{0,1}表示相似/嵌入我和0之间的亲密;或2)嵌入一组三胞胎E3 = {(i, p i n i) |我∈Z +},我是参考嵌入的,和我是一个积极的嵌入同一个类的引用,而n我是负的嵌入一个不同的类。在实际应用中，采样过程可以控制在不同标记si的天平嵌入对上。为了更好地进行描述，我们定义了一个函数φ: E1→E2来表示生成对的过程，ψ: E1→E3来表示生成三胞胎。
对于嵌入对E2或三联体E3，我们现在可以应用对比损失/对损失[29]或三联体损失[38]作为相似性学习的约束。对损耗的定义如下:
其中m是边际常数，k·k是欧几里德距离度规。在最小化损失函数之后，两个不同类别的样本之间的距离应该大于边缘m，即不同类别的样本在嵌入空间中广泛分布。同时，同一类的样本紧密聚在一起。用这种方法学习的嵌入能够区分样本类。三重损失定义为：
式中m和k·k表示与对损相同。优化后,积极对之间的距离应该不到一双负之间R-CNN后保证金m。方法为基础对象检测,头一个分类和回归头用于目标识别和边界框分别回归,如图3中所示。对于分类头，使用正则交叉熵损失或焦点损失进行权值调整。
对于回归头，我们应用平滑L1损失进行锚箱调谐。锚框被编码为4元组[xa, ya, ha, wa]，其中(xa, ya)表示其左上角的坐标，(ha, wa)分别表示其高度和宽度。为了优化锚定框，最终预测的包围框和相应的锚定框之间的偏移被编码为4元组t = [tx, ty, th, tw]，这样
其中[x, y, h, w]是最终预测的绑定ing框的4元组，类似于锚定框的[xa, ya, ha, wa]。在监督学习环境中，地面真值包围盒也作为监督信号输入。ground真值边界框和锚定框之间的偏移量被编码为t∗= [t∗x, t∗y, t∗h, t∗w]，这样
其中[x∗，y∗，h∗，w∗]是ground真值盒的4元组。根据上述定义，平滑L1损耗可定义为:
其中f(·)为光滑L1函数:
总的来说，具有地面真实度的输入图像的总损失是嵌入损失Lembed、定位损失Lloc和分类损失Lcls的加权和
其中N表示锚定框的个数，ε(·)= φ(·)或ψ(·)，这取决于嵌入损耗Lembed的选择。在我们的实验中，我们使用(1)式中的对损失或(2)式中的三态损失作为嵌入损失Lembed。术语p∗i Lloc表示只有当p∗i = 1时，定位丢失才会被激活，否则，p∗i = 0就会被禁用。将平滑L1损耗Eq.(5)作为定位损耗进行测试。由于只有一种细胞或细胞核类型可检测，如前所述，我们采用交叉熵损失或局灶性损失作为分类损失。
增强更快的R-CNN和视网膜网络
如II-A节所述，Faster R-CNN和RetinaNet都利用RPN提出可能的前景区域。它可以很容易地用所提出的SRPN模块替换RPN模块，因此在框架中允许相似性学习，从而提高Faster R-CNN和retina et在组织学图像中对细胞核和细胞的检测。
实验
训练与推理
检测器使用随机梯度下降优化器(SGD)和基本学习率1e-3进行训练。我们验证了几种CNN架构，如ResNet 50/ResNet-101和ResNeXt-50/ResNeXt-101，作为检测器的主干。为了加快训练过程，我们利用在ImageNet上预训练的网络[。其他层中的权重和偏差分别由正态分布N ~(0, 0.012)和常数0的值初始化。培训过程需要花费NVIDIA GeForce GTX Titan X GPU上的每个检测器几个小时，具体时间取决于批大小的范围，从4到12。为了保证检测器对组织图像视觉变化的鲁棒性，在训练过程中对训练图像进行颜色抖动、水平翻转和垂直翻转等概率为0.5的变换，进行数据增强。对于颜色抖动，图像颜色的亮度、对比度、饱和度和色调是随机变化的。类不平衡是密集目标检测中常见的问题。一般来说，在一个输入图像中，感兴趣的对象的数量要比其他搜索位置的数量少得多。也就是说，负样本的数量超过正样本的数量。因此，在培训过程中，采用在线硬例挖掘技术(OHEM)消除类不平衡的影响。因此，阴性样本与阳性样本之比为3:1，与前文报道相似。在推理阶段，由于为密集对象检测设计的设置，一个对象可能会有多个预测。通常情况下，采用非最大抑制过程去除重复预测，每个对象只保留一个概率最高的预测。两个预测之间的借据阈值用来决定它们是否重复。在我们的实验中，阈值设置为0.3。
实验结果
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
