Cervical Glandular Cell Detection from Whole Slide Image with Out-Of-Distribution Data 笔记

Cervical Glandular Cell Detection from Whole Slide Image with Out-Of-Distribution Data
全宫颈腺细胞的检测带有非分布数据的幻灯片图像

提出一种叫PolarNet的注意力机制模块

摘要

==宫颈腺细胞(GC)==检测是计算机辅助诊断宫颈腺癌筛查的关键步骤。以鳞状细胞为主的宫颈涂片中GCs的准确识别具有挑战性。整个涂片广泛存在out - distribution (OOD)数据，导致机器学习系统用于GC检测的可靠性下降。

out - distribution (OOD) 标签以外的样本

尽管SOTA深度学习模型可以在预选感兴趣的区域优于病理学家，但在面对如此大像素的整张幻灯片图像时，仍无法解决高概率的大规模假阳性(FP)预测。本文基于GC的形态先验知识，提出了一种新的极化网，试图通过八邻居的自注意机制来解决FP问题。估计了气相色谱核的极性取向。作为一个插件模块，PolarNet可以指导一般目标检测模型的深度特征和预测置信度。在实验中，我们发现基于四种不同框架的通用模型可以在小图像集中拒绝FP，平均平均精度(mAP)平均提高0.007 ~ 0.015，其中最高超过了最近的宫颈细胞检测模型0.037。通过插入PolarNet，部署的c++程序将来自外部WSIs的前20个GC检测的准确性提高了8.8%，同时牺牲了14.4 s的计算时间。代码可在https://github.com/Chrisa142857/PolarNet-GCdet获得。

引言

从全切片图像(WSI)中提取腺细胞(GC)可以帮助病理学家通过计算机辅助诊断(CAD)[1]-[3]对宫颈腺癌(ADCA)进行筛查，降低人工成本。训练有素的深度学习模型可以在适当的标注数据量下提供顶层的WSI细胞来帮助筛选，作为推荐系统。然而，由于==鳞状细胞(SC)==是子宫颈细胞检验的主要成分，因此这项工作具有挑战性。GC的稀疏性很严重。此外，GC和SC的形态相似，而GC的极性模式基本形状与SC不同，这些特点直接影响了数据驱动模型在不使用一般模型中GC基本形状的先验知识的情况下准确执行。

尽管从2016年开始，利用深度学习[4]、[5]对子宫颈病变进行了细胞学的识别，但相关工作主要集中在主要对象SC上，而很少涉及较小但很重要的[6]GC。他们用一般的深度学习方法对小图像集上的宫颈癌检测进行了研究，很少有研究涉及到模型在外部WSI集上的性能。与Liang等人一样，[13]仅在预选的外部WSI roi中，用深度学习模型测试了SC和GC的检测性能。Gupta et al.[8]只报道了一个粗略的检测结果外部WSIs的ROI预测模型。在子宫颈细胞学中没有对GC的关注，相关工作中也没有使用GC的先验知识，这说明利用深度学习进行GC检测仍有改进的空间。缺乏WSI对细胞检测的评价也导致相关工作难以应用于临床CAD。

这个问题的更生动的描述如图所示。1、上图所示WSI中仅存在17个gc。这种稀疏性导致WSI的计算将满足大量分布不均(OOD)数据，包括工件、单个SC、折叠SC和SC集群。尽管它们的基本形状与GC相比有明显的区别，如下图1所示，但一般的深度学习模型很难区分。这些橙色盒子是由最先进的(SOTA)对象检测模型YOLOX[9]预测的。宫颈细胞检测的相关工作是基于更抽象的知识设计的，如不同尺度[10]、[11]之间的注意与联系，多分辨率的混合信息[12]，多细胞类别的原型表示[13]，利用时间序列信息增强癌症检测[14]。虽然非典型胃癌是他们的研究对象之一，但他们的设计理念没有考虑到宫颈细胞的基本形状。这很难帮助排除那些基本形状错误的假阳性。

本文提出了一种利用GC基本形状先验知识增强GC检测的新网络。我们还提供了一个新的实验环境来展示模型的实际性能。首先，设计极性注意网络(polar attention network, PolarNet)来量化气相色谱的混淆形态，即极性取向的基本形态。该网络在八邻居中采用了一种新的自注意机制，使其能够对GC极性方向的显著性进行评分。在外部测试集中极性不显著的伪gc受这种极性作用的控制。该网络也是一个深度学习模块，可以插入任何一般的对象检测模型。然后，分别通过人工模型和训练良好的模型获得包含不同体积OOD数据的外部WSI小图像测试集。此外，还完成了该建议的优雅部署，并将其作为c++程序提供。

在三种小型图像集上的GC检测实验中，所提出的PolarNet都显示出了有效性，并与四种不同框架的5种模型进行了比较。在使用PolarNet的情况下，模型可以拒绝假阳性(FP)，平均精度(mAP)的平均值从0.007提高到0.015，其中最高的超过了最近的宫颈细胞检测模型0.037。部署的程序在来自外部WSIs的前20个GC检测的准确性上提高了8.8% (n = 110)，同时牺牲了14.4 s的计算时间。

简单地说，本工作提出了一种宫颈GC检测方法来从WSI中识别GC，它包括四个贡献:．在第四节中，使用训练有素的YOLOX提供OOD数据集。数据来源于深度学习模型预测的严重FP，能够反映未完全注释的WSIs的GC检测性能。
在第三节中，一个新颖的八邻自注意机制提出了量化GC极性取向和构建插件网络PolarNet的方法。该方法可应用于一般的单级或多级检测模型中，对严重的FP进行检测。
在第五节中，在四个不同的框架中使用PolarNet都显示了GC检测的重要性。在临床应用方面，推荐WSI排名前20位的gc也是有效的。

该方法以c++程序的形式实现。详细列出了PolarNet的计算成本。该程序在网上发布。

相关工作

子宫颈细胞检测

此前，传统的框架是基于细胞学定义，通过计算宫颈细胞的核质比完成细胞分类，而Tareef等。为了提高后续分类任务的准确性，他们的卷积神经网络(CNN)模型在分割精度上超过了传统的机器学习算法。但随后，Zhang等人[15]认为不可避免的分割错误总是会导致异常细胞的分类准确率下降，他们首次提出了DeepPap模型，将卷积神经网络直接应用到宫颈细胞的分类任务中，避免了预分割处理，并在Herlev 2005[16]和HEMLBC[17]两个公共数据集上表现良好，在两个数据集上准确率均超过98%。但他们的方法仍可与传统算法进行比较。更浪费时间。Shanthi等人[18]更详细地探讨了使用CNN进行宫颈细胞分类、进行细胞边缘提取、细胞核分割或直接使用原始图像而不进行分割时可以获得的分类精度，尽管他们的模型在Herlev 2005中有描述。准确率仅为94% ~ 95%，并没有完全超过之前的方法，但经过验证，直接使用原始图像而不进行分割是最有效的。这些使用深度学习的早期发展和结论使人们认识到深度学习在CAD中的潜力。

后来，随着通用深度学习模型的发展，出现了许多经过大型通用数据集ImageNet[23]预训练和验证的通用模型，如VGG[19]、GoogLeNet[20]、ResNet[21]和Inception[22]。等待。Lin等人[24]提出这些从一般数据中预训练的模型可以提取出一般的形态学特征，并将这些预训练的模型转移到宫颈细胞分类任务中，在Herlev 2005中使用GoogLeNet获得了94.5%的最高准确率。为了进一步提高CNN在宫颈细胞分类中的计算效率，Dong等人[25]提出将一种轻量级卷积神经网络与人工特征相结合，通过将基于细胞学定义的先验知识适应于Inception V3模型[22]，最终在公共数据集Herlev 2005上实现了98%以上的准确率[16]

由于宫颈细胞学图像上的细胞分布不规则，因此两者的预测都很重要细胞的位置和类别。最近，Xiang等人[26]、Liang等人[27]在单阶段对象检测模型YOLO (You Only Look Once)[28]的基础上，较早提出了一种宫颈细胞检测模型，并将附加的Inception V3和具有内容感知功能[29]的FPN (Feature Pyramid Network)叠加在他们私有的10类宫颈细胞数据集上，完成了宫颈细胞的端到端定位、分类和分类。预测大小，且平均准确率达到63.4%，虽然其图像像素充足(4000 x 3000)，但图像数量少(n = 12909)是一个缺陷。为了解决数据量小时的模型训练问题，Liang等人[13]随后提出了一种基于双级Faster RCNN的比较检测器。关于小规模(n)7410)的数据集，对比检测器比以前的检测器有明显的改进。以上均为传统制作方法获得的细胞图像。

在Tan等人[7]的工作中，作者首先收集了超过16000个LBC(液体细胞学)图像作为训练和验证数据。与传统宫颈细胞学图像相比，LBC图像具有更清晰的背景[30]。他们在外部全幻灯片中独立设置290个ROI (Region Of Interest)图像作为测试集，模拟真实的CAD过程。在训练Faster RCNN模型后，他们获得了不错的准确性。虽然外部数据量仍小于训练和验证数据量，但该深度学习模型在外部数据上的实验为CAD提供了初步的可行性支持。

由于宫颈细胞检测任务对图像数据的视场要求比之前的分类和分割任务大，而这类公共数据集又比较稀缺，因此上述相关目标检测研究都是在私有数据上进行的。更重要的是，无论是细胞分割、分类，还是细胞检测，相关工作都没有将WSI的全部计算纳入到实验中。

整张幻灯片图像的检测

从局部预测研究延伸到WSI计算的相关研究还很有限。Gupta等人[8]首次提出了一种ROI自动识别方法。虽然ROI识别只能从WSI中获得粗略的定位，但他们的工作考虑了计算WSI的所有像素，并使用WSI上的所有区域进行模型训练，在包含10张WSI图像的私有数据集上获得了优异的ROI分类精度，该研究提供了自动预选ROI计算WSI局部癌细胞的思路。

宫颈细胞检测与WSI计算也用于一些WSI分类研究。Ke等人[31]尝试使用核分割CNN来指导分类，然后通过手工设计的特征工程将分割结果整合。他们报告了一个极好的WSI分类性能，但在外部测试集上没有细胞分割/分类。随后，Zhu等人[32]提出了一种综合颈椎WSI识别系统，该系统包括24个物体检测cnn等4个模型。为了完成WSI分类任务，他们还创建了新的24个类处理宫颈癌子类的混淆，并为每个子类安排各对象检测CNN。这样的系统大大提高了鲁棒性，显示出超过病理学家的准确性和泛化能力，但可以想象的是，该系统所需的计算资源是非常大的。作者报告其速度为180 s/WSI。Cao等人[10]在两阶段目标检测模型Faster RCNN中增加了一个新的注意模块，与基线相比，细胞检测的mAP提高了2.37%。它预测对象的置信度，对ResNet提取的特征进行加权，完成WSI分类。没有来自外部/OOD测试集的单元检测性能报告。Cheng等人[12]使用低分辨率图像粗略地进行细胞检测，然后在目标位置进行特征提取，完成WSI分类。Wei等人[11]使用了一种新的轻量级对象检测模型，同时进行细胞检测和特征提取，完成WSI分类。

然而，当涉及到计算所有宫颈WSI局部图像的完整的细胞级预测时，很少有一个解决方案和评估。一般深度学习的训练要求实验数据符合真实的分布，而宫颈WSI中含有各种不相关的内容，即所谓的OOD数据，用于确定病变。为这样的数据提供完整的注释是昂贵的、稀缺的，而且是不必要的。为了开发新的细胞识别方法，相关工作中使用的数据集大多基于病理学家从WSI上预先选择的roi生成的局部小图像。虽然WSI的计算是在WSI分类中完成的，但是他们的讨论集中在分类上，而细胞检测只是分类的一个步骤。因此，相关研究几乎没有提及他们的局部预测模型在计算整个颈椎滑块的细胞时会遇到的泛化和可靠性问题，这削弱了他们工作的贡献。

方法

本节将介绍被提议的PolarNet以及这个插件模块如何在现代深度学习模型中工作。

A. PolarNet

PolarNet的设计如图2所示。一方面，通过计算特征的八邻域内的自注意(思考，在改进的Detr 模型中使用的是最近的邻域的，而非简单的八个邻域，可以参考改进)，得到极性注意评分矩阵;另一方面，利用八邻域内不同方向的注意评分进行加权，生成新的特征图。PolarNet的设计目的是从现代模型的主干计算最后阶段的特征图。因此，我们可以假设特征映射用$\mathbf{x}\in {\mathbb{R}}^{C\times H\times W}$表示，极性注意评分矩阵用$\mathbf{PAS}\in {\mathbb{R}}^{9\times H\times W}$表示，极性网的输出特征映射用$\mathbf{y}\in {\mathbb{R}}^{C\times H\times W}$表示。然后，可以将PolarNet的输出写成:

$${\mathbf{PAS}}_{\cdot ,i,j}=\mathrm{softmax}\left({\left\{{\mathbf{Q}}_{\cdot ,i,j}\odot {\mathbf{K}}_{\cdot ,nei[n]}^T\right\}}_{n=1,2,\dots ,9}\right)$$

$${\mathbf{y}}_{c,i,j}=\mathrm{norm}\left(\sum _{n=1}^9{\mathbf{PAS}}_{n,i,j}\times \left(1+{\mathbf{V}}_{c,nei[n]}\right)\right)$$

其中$i,j$表示特征映射的第i行和第j列的协调器，c表示特征映射的第c个通道，表示点积运算， $nei\in {\mathbb{N}}^{9\times 2}$ 是八近邻的索引集

where $i,j$ means the coordinator of $i^{th}$ row and $j^{\text{th }}$ column in feature maps, $c$ means the $c^{\text{th }}$ channel of feature maps, $\odot$ means the operation of dot-product, $nei\in {\mathbb{N}}^{9\times 2}$ is the index set of eight-neighbor $[(i-1,j-1),(i-1,j),(i-1,j+1),(i,j-$ $1),(i,j),(i,j+1),(i+1,j-1),(i+1,j),(i+1,j+1)]$. $\mathbf{Q}\in {\mathbb{R}}^{C\times H\times W},\mathbf{K}\in {\mathbb{R}}^{C\times H\times W},\mathbf{V}\in {\mathbb{R}}^{C\times H\times W}$ 的意思是特征映射的查询、键和值，用于计算自我注意:

$$\mathbf{Q}={\mathrm{Conv}}_{1\times 1}^1(\mathbf{x})$$,
$$\mathbf{K}={\mathrm{Conv}}_{1\times 1}^2(\mathbf{x})$$,
$$\mathbf{V}={\mathrm{Conv}}_{1\times 1}^3(\mathbf{x})$$

B. GC检测框架

在一般的目标检测任务中，采用不同的体系结构设计多个模型。如基于锚的YOLO系列[33]的单步结构，多步Faster RCNN[34]和Cascade RCNN[35]，以及无锚FCOS[36]。它们都是由主干和头部构成的，主干可以使用一个颈部，如FPN[29]或PAFPN[37]，来混合多比例尺特征映射。

特别是，无论是否在主干中使用颈部，PolarNet都是插入到末端部分。计算最后一阶段的特征映射，即第五阶段(下采样比为$2^5=32$)，生成y和PAS。新特征映射y，然后，输入到模型的头部，预测边界盒

使用最后一阶段特征图的原因是追求一个特征向量的面积大小与GC的物理大小之间的最佳适应度。在极地网中，极地如图3所示，定向被均匀地分成八个具有自向定向的定向。为了正确估计极光网采集的真实方向，输入地图的一个特征向量应该代表采集的大约长度的面积。第5阶段的下采样比刚好达到这个范围。在本文图像分辨率为0.2499 m/pirel的情况下，一个第5级特征向量代表7.9968 μm的长度区域，是GC的1/3~4/5倍，如图3 (b)所示。因此，较早的第4级(比$2^4$)或第3级(比$2^3$)不适合利用极化网的八个邻居的自注意机制来预测GC的极性方向。

最后，基于以上知识，GC检测框架如图4所示。GC边界框的置信度更新为
$$P=(1-\alpha )P_{obj}+\alpha P_{\text{polar }}$$
其中，$\alpha \in [0,1]$为极显著性权重，Pobj为模型原始输出的客观置信度。极坐标是将PAS矩阵转换为一个标量的结果
$$P_{\text{polar }}=\frac{1}{8b_w{b}_h}\sum _{i=b_x-\frac{b_w}{2}}^{b_x+\frac{b_w}{2}}\sum _{j=b_y-\frac{b_h}{2}}^{b_y+\frac{b_h}{2}}\sum _n^{1\sim 4,6\sim 9}{\mathbf{PAS}}_{n,i,j}$$
其中br, by, bw, bn表示协调器和一个边界框的大小。很明显，Eq. 7计算极性注意得分的平均值来表示GC的极性显著性，如图3 (a)所示。

在训练阶段，与现代目标检测模型中客观性损失相似的交叉熵对极化网进行监督
$$L_{\text{Polar Net }}=\log \left(NLLLoss\left(\left[P_{\text{non-polar }}{P}_{\text{polar }}\right],P_{gt}\right)\right)$$

其中，Pgt表示一个边界框的客观地真值，Eq. 1中log、NLLLoss、softmar的运算组合与
$$L_{\text{Polar Net }}=\log \left(NLLLoss\left(\left[P_{\text{non-polar }}{P}_{\text{polar }}\right],P_{gt}\right)\right)$$

此时，任何对象检测任务中的现代模型都能够利用先验知识，即GC的普遍极性，从WSI中拒绝GC的假阳性。

数据准备

本研究使用了华中科技大学同济协和医院共486份宫颈细胞学WSIs。扫描仪使用分辨率为0.2499 um/pirel的20倍物镜，使用Qupath软件[38]完成WSIs中宫颈GC的局部标注。

根据宫颈GCs比鳞状细胞更稀疏，我们建立了三个不同的来源来制作完整的图像数据集进行验证和测试。如表I所示，三种来源分别是GC注释、非相关内容(NC)注释和假阳性(FP)。

其中GC注释是指宫颈滑片中被判断为阳性(存在明显的非典型GCs)的含有腺细胞(团块)的区域，有两个子类:AGC(非典型腺细胞)和nGEC(正常腺上皮细胞)。非相关内容(non - relevant content, NC)注释是指阴性WSIs(无明显非典型腺细胞)的一些小区域，不包含任何GC。假阳性(FP)是指现代模型YOLOX-1[9]对GC注释源测试集的错误预测。第一个GC注释的来源由病理学家提供，后两个注释由作者生成。所有的注释都经过病理学家的复查。
$\bullet$上面列出的图像使用相同的大小，1024 * 1024和相同的原始分辨率。虽然图像来自GC注释，但首先，幻灯片上的那些足够接近(小于图像的大小)的GC注释被用作一个集合。然后，一个更大的单元图像从WSI中以该集合为中心裁剪，大小为1536 x 1536，保存在硬盘中。在训练过程中，从较大的图像中随机裁剪1024 x 1024个区域，以确保学习样本的多样性，并从中心中裁剪1024 x 1024个区域用于验证和测试。
$\bullet$虽然图像来自不相关的内容注释，但从WSI中随机裁剪了1024 x 1024的单元图像，用于测试。
$\bullet$假阳性源由YOLOX-1[9]模型获得，该模型使用我们数据中的第一个源(GC注释)进行训练。完全由训练良好的YOLOX1推断的外部阳性WSIs (n = 110)。使用Qupath工具将每个WSI的置信度(称为top- n结果)排序的顶级边界框可视化，并逐个手动判断。非gc的结果将以上述源的相同方式进行裁剪以用于测试。手工判断时，回顾前30张幻灯片的前100名和后80张幻灯片前100名的20个随机结果。

在以上人工判断的结果中，有趣的是，前30个的平均准确率只有0.1445。虽然该模型在业内非常流行，但由于模型中没有考虑宫颈GC的先验知识，只有2张幻灯片的准确性超过0.9。值得注意的是，在YOLOX-1上进行外部测试的这种现象表明，在验证集上平均精度超过0.7的标准实验结果在面对来自真实WSI的稀疏GC时是不可靠的。一些例子如图5所示
值得一提的是，测试与非相关和虚假来源，图像没有gc的存在分别占总数的62.17%和81.78%。因此，模型的不可靠性可以在两者中得到充分的证明。事实上，在整个幻灯片中，没有GC的图像所占的比例通常超过90%，因此使用这两个源进行测试可以模拟从WSI中检测GC的深度学习模型的性能。

实验

评价指标

首先，对于1024 × 1024图像的GC检测，本文采用常用的评价标准AP50 (Average Precision with 50% IoU threshold)，其计算公式为
$$Recall=\frac{TP}{TP+FN},Precision=\frac{TP}{TP+FP}$$
其中TP、FP和FN分别为真阳性、假阳性和假阴性。由于AP50是通过计算Precision-Recall曲线下的面积得到的，因此我们也提供了详细的模型GC检测性能曲线。

其次，对于宫颈细胞学WSI的GC检测任务，本文使用GC的top-N准确性来证明模型的可靠性。用$\frac{TP}{2(TP+FP)}+\frac{TN}{2(TN+FN)}$计算， TN为真负。

训练环境

本工作中的所有实验都是在Win10操作系统计算机上使用PyTorch深度学习库[39]实现的。使用SGD优化器[40]进行模型训练，学习率下降策略是常见的逐步递减策略，从5 x 10-3到5 x 10-6，分别在第25、50和80期学习。速率衰减为0.1，最大训练历元为100。内存是128gb, CPU是Xeon@ 6134 @3.20 GHz, GPU是特斯拉P40。比较方法使用相关研究发布的代码进行训练，通用流行模型使用Torch Vision模型TorchVision model zoo的实现版本。当使用提议的PolarNet时，只有一个超参数a总是设置为0.5。

model zoo

比较方法

在比较方法方面，由于YOLOX和Faster RCNN是一般任务中常用的单阶段和双阶段的代表性方法。AttnFaster[10]是基于注意机制专门设计的子宫颈细胞学，也被选择进行测试。此外，比较了现有的多个模型:无锚模型FCOS和多级模型Cascade RCNN[35]。

GC检测结果

如第四节所述，本研究的实验数据来自三个不同的来源，每个来源代表不同的GC检测稀疏程度和困难程度，以验证模型对WSI数据真实分布的有效性。为了充分比较不同的测试场景，本节首先显示所有三个数据源上的测试结果，然后显示GC的详细测试结果，GC有两个子类。
1）主要结果:小图像GC检测结果如表II所示。很明显，所有使用PolarNet的SOTA模型与它们的原始版本相比都出现了AP50的改进。这可以说明PolarNet的有效性。并且，更快的RCNN与PolarNet总是显示最高的AP50在每个测试设置和平均值。使用PolarNet的YOLOX能够比AttnFaster平均高出0.021，而原始YOLOX比AttnFaster平均低0.016。有趣的是，比较三个不同的结果测试设置时，只有GC源的AP50可以保持与验证集相似的AP50水平。但在添加目标不存在的图像(非相关或假阳性源)后，AP50出现了一些相对显著的下降。即使对于最复杂的、在一般数据集上表现最好的Cascade RCNN，测试集GC+FP的AP50也仅为0.255。由于FCOS和Cascade RCNN在一般模型中AP50得分较低，我们在后续的实验中使用了功能更强大、更通用的YOLOX和Faster RCNN。

2)精度-查全率曲线:上述模型的精度-查全率(P-R)曲线如图6所示。可以看出，Faster RCNN模型P-R曲线中使用的PolarNet的绿色比橙色和蓝色的P-R曲线精度更高，YOLOX的红色P-R曲线精度也低于添加PolarNet的P-R曲线。YOLOX。在召回率方面，同一模型基础设施的P-R曲线都显示出相似的最大召回率。虽然两种yolox的召回率明显低于Faster RCNN，但当曲线开始时，它们的精度更高。曲线起点的相对较低的精度意味着当遇到外部测试集时，它的效果会较差。这是因为曲线是根据置信度排序的结果绘制的，因此，当发生这种情况时，置信度高的结果不太准确。可以看出，加入PolarNet后的YOLOX在曲线的起点得到了改善。

3)详细结果:在目标检测任务中，AP准则的计算依赖于预测与标注边界框的交集与并集的阈值。例如，上面使用的AP50需要大于50%才能判定为TP。显然，较大的阈值可以反映预测的准确大小和位置。如表所示。第三，为了证明预测规模和定位的准确性，我们列出了AP60和AP70中的结果。可以看出，与表3中的趋势相似。带PolarNet的Faster RCNN的AP60和AP70在GC+FP源的测试集上仍然表现最好，而带PolarNet的YOLOX在AP60和AP70上排名第三。很明显，与AP50相比，所有模型在AP60处都有小幅下降，在AP70处下降明显。这说明宫颈GC的准确检测仍然是一个具有挑战性的问题。另外，两个子类的AP50也如表所示。3两种使用PolarNet的模型AGC和nGEC分别为0.112和0.336，表现为第二和第一。AGC的AP50一般低于nGEC，这是因为AGC在训练数据中的注释数量不到nGEC的一半

WSI GC检测Top-N结果

当宫颈GC检测模型实际应用于宫颈癌CAD时，top-N结果可指导病理学家优先筛查可疑病变。因此，这些外部玻片(n = 110)上模型的top-N结果可以从WSI辅助诊断宫颈癌的角度论证其性能。此部分显示了前n个结果的准确性，精度越高表明模型应用于CAD的潜力越大。

如表所示。IV，分别列出N= 5、10、20时top-N结果的精度。可以看出，在三种不同的N中，使用PolarNet的Faster RCNN表现最好，随着N的减小，其精度从0.386增加到0.429。这说明它具有合理的置信度分布，如置信度越高的结果精度越高。事实上，Faster RCNN是剩下的唯一具有相同趋势的模型，而其他三个模型在使用更高的置信度结果时显示出了准确性的下降。在YOLOX模型中，其精度远远低于其他模型，如图7所示。这种情况也可以从Npred(平均预测次数)中反映出来。有些幻灯片无法给出完整的20个检测结果，尽管YOLOX使用了非常低的置信阈值(0.0001)。虽然加入PolarNet可以缓解这种情况，但与双级Faster RCNN相比，加入PolarNet的YOLOX的top-N精度仍至少要低0.08左右。这表明，在真实的外部WSI情况下，双级模型的可靠性高于其他模型。

消融实验

为了进一步揭示极网在目标检测模型中的作用，证明极注意的有效性对于宫颈气相色谱检测，本节进行了两项消融研究:1)极性注意评分的平均值，即极性注意评分的平均值，在置信P更新方程中的贡献。2)特征尺度(见第III-B节)对PolarNet GC极性估计的影响。

1)极性的贡献:根据公式6，改变a的值可以改变极性的贡献，特别是当a = 0时，极性对PolarNet的作用没有贡献，只有极性注意引导下的新特征图。因此，观察a-AP50曲线可以同时证明极性注意矩阵和极性注意矩阵的有效性。

图8为两种模型的a-AP50曲线。可以看出，无论是单级YOLOX还是多级Faster RCNN，在递增时AP50都是上升的，在本研究中默认设置a = 0.5后AP50达到峰值。这说明极性评分对GC检测结果有正向贡献。并且可以看出，当a = 0时，模型的AP50仍然优于表中其他模型的结果。二、三种测试设置。这表明，极性注意对模型的特征表示也有重要贡献。

2)特征尺度的影响:如章节所述。IIIB中，由于单个GC的物理大小是相对固定的，PolarNet通过对GC的规模敏感的特征图来计算其极性方向。这部分验证了覆盖细胞大小约~的第5阶段的刻度25获得了最佳的极性注意。我们测试了单级模型和双级模型的所有可用的特征尺度，展示了特征尺度对PolarNet的影响。

如表五所示。PolarNet不同特征尺度下宫颈气相色谱检测结果AP50。显然，使用最大比例(25)的模型在所有测试设置中表现最好。这表明计算极性注意的理论基础是有效的。此外，可以看到，在PolarNet采用更小的尺度后，大部分AP50，如非粗体和非下划线，甚至比表中相应的原始模型还要低。2结果表明，当极化网使用不适当的刻度时，通过自注意机制计算八邻域的极性不再有正向作用。

定性结果

最后，图9为四种模型的宫颈GC检测样例进行对比，包括两组独立GC和另外两组GC集群的检测样例。首先，在每个模型的所有示例中，很难避免给出错误的GC(橙色框)，这是由于WSI中GC的稀疏性造成的。然后，与Faster RCNN和YOLOX-m相比，将PolarNet与现代模型相结合一般可以降低GC的假边界盒的置信度。在这四组示例中，除了第二行中的Faster RCNN，其他所有示例都通过PolarNet对极性注意的评分去除了假阳性(橙色框)，在某些情况下甚至纠正了假阴性，例如第一和第二行，那里出现了新的蓝色框。这些示例直观地说明了PolarNet在GC检测中的作用。

计算损失

此外，本工作还完成了训练好的宫颈气相色谱检测模型的c++部署。该c++程序能够使用任何现代模型完成从WSI的宫颈GC检测。唯一需要做的就是更改模型路径并在命令行中设置一些超参数。为了测试计算成本，本节涉及在上述实验中测试的5个对象检测模型:AttnFaster、Faster RCNN、Faster RCNN with PolarNet、yolx -m和红m配聚宝网。

表格VI显示了使用c++程序中提出的PolarNet从WSIs中检测gc的计算成本。YOLOX模型虽然可以达到107.6 s的最小平均时间，但精度下降严重，只有12.2%。使用PolarNet的最佳模型“更快RCNN”，平均节省14.4 s的时间，比原来的版本提高了3.1%的准确率。

结论

目前的宫颈细胞检测工作普遍没有考虑WSI中GC的形态和稀疏性。但GC的细长形状容易混淆，这使得一般模型在检测WSI时存在严重的假阳性。为了提高WSI气相色谱检测的可靠性，本文设计了一种极化网。它通过计算八邻自注意来评估细胞的极性，并分别生成极性评分和极性注意来指导置信度和特征图，从而消除极性不显著的伪gc。实验结果表明，在牺牲每张幻灯片14.4 s的计算时间的情况下，极化网可使WSI GC检测的top 20精度提高8.8%。

讨论

本文提出了一种新的网络PolarNet，可以有效地消除检测结果中极性方向不显著的伪GC，更可靠地完成WSI的GC检测。该网络通过计算特征图中的八邻域注意评分，获得检测帧中的极性平均分数，判断细胞的极性方向是否显著，并可作为模块添加到任意通用模型中。为了获得合适的极性方向，该方法使用了第5阶段特征图的适当比例，使得从一般的目标检测模型中获得的极性方向可以覆盖单个GC的~形状。在实验部分，为了展示WSI的检测性能，我们首先对3张GC稀疏度不同的小图像进行了测试，显示出了优越的平均精度，然后还展示了WSI检测宫颈GC的top-N精度。此外，两项消融研究进一步证明了极性注意评分和新的极性引导特征图的积极作用。总的来说，基于宫颈GC先验知识设计的PolarNet可以有效提高WSI与OOD数据GC检测的可靠性。

然而，该建议仍有改进的空间。目前的PolarNet是通过在固定尺度下计算特征图来获得极性注意评分的，在第二次消融研究中，这种方法对尺度的变化过于敏感。尽管单个宫颈WSI的尺度很难改变，但当遇到来自多个来源的数据时，网络会受到影响。

因此，进一步开发具有尺度不变特性的极光网是非常重要的。由于c++程序的部署工作良好，可以进行进一步的临床实验，以验证其在现实任务中的有效性。在现有计算资源条件下，该程序在较短的时间内取得了较好的改进，并通过运行到实际宫颈癌CAD中进一步揭示了其有效性和不足。

参考文献：https://arxiv.org/abs/2205.14625