RIC-Unet: An Improved Neural Network Based on Unet for Nuclei Segmentation in Histology Images

一、Method

在论文中，使用TCGA的数据集中的30张全幅数字病理切片，仅仅用每个病人的一张WSI切片，以最大限度地增加细胞核外观变化。由于处理WSI的计算要求很高，WSI被裁剪为大小为1000*1000的子图像，这些子图像来自细胞核密集的区域且一个病人选一张WSI,每一个子图被标注了边界，细胞核和背景分开。为了增加细胞核外观的多样性，这些图片覆盖七种不同的组织区域。此外，数据集分离16个子图作为训练和验证集，这包括13372个细胞核；14个子图作为测试集，包括8251个细胞核，被标注好的细胞边界的数量大概有21623.

算法包括三个部分：图像预处理，模型架构和图像后处理。整体流程：

与分类任务不同，分割需要结合更多基于高分辨率图像的局部信息以及低分辨率的全局特征来区分前景和背景。常见的分割模型利用不同分辨率的不同级别的特征，这可以在编码器-解码器框架中看到。如上所述，对于病理细胞而言，细胞形状的多样性和密集的细胞重叠对病理细胞的分割提出了新的挑战。受inception net、U-net 和一些在自然图像语义分割和病理图像分割任务方面的开创性研究工作的启发，我们提出了我们的网络来解决上述问题。为了使我们的模型能够识别不同类型的细胞形状和不同规模的细胞，我们对全局上下文和局部上下文进行了更好的提取，以解决不同细胞形状的问题。同时，为了解决密集细胞重叠的问题，我们遵循Chen等人在腺体实例分割中提出的想法，采用多任务学习框架，允许网络学习同时分割细胞核和细胞轮廓。该网络将使用细胞轮廓作为辅助信息，帮助密集细胞的分化，并减少对象级别的错误。特别是，我们的模型包含两个阶段。在编码阶段，我们使用一系列RI块来提取多尺度局部。此外，我们使用了步长为2、内核为3*3的卷积运算符，而不是最大池运算符来保留更多细节。我们认为这种组合下采样网络结构可以更好地提取不同分辨率的特征。在解码阶段，我们使用一种类似于U-net的结构，在上采样过程中将高级特征与低级特征连接起来。为了更好地选择高分辨率特征，受Yu等人的启发，上采样部分使用了包含CAB模块的DC块，以基于低分辨率特征对高分辨率特征通道给与关注权重。具体来说，通过平均池化将高层特征转化为关注向量，然后将该向量中包含的权重乘以低层特征，从而为通道富裕不同的关注权重。RICUnet架构如图3所示，其中它接收输入补丁和轮廓分割结果的输出，以及输入补丁和细胞核分割结果的输出。

1）RI BLOCK

传统的U-net仅仅包括基础的卷积层。我们的方法用RI-Blocks替换卷积层，其中包括残差模块和初始模块。块的结构如图4（a）所示。输入特征由卷积层处理，然后是DRI模块。然后，按照编码器框架的范例，使用另一个步长为2的卷积层来压缩特征映射大小。最后，利用残差块提取更具代表性的特征。DRI模块是inception模块的一个更复杂的版本，它可以在不同核大小的不同感受野中提取特征。通过构建这个模块，我们的直觉是在不同的接受场中加入更多具有代表性的特征，这可以提高整个分割精度。在每个特征提取模块之后使用Relu层作为通用范例。

2 )直流块

对于上采样部分，使用DC块来更好地利用不同层次的特征来得到最终的预测结果。通过选择具有注意力权重的更强大功能，注意力机制被用于几个深度学习任务[21]–[23]。受注意机制的启发，[16]中介绍的CAB模块首次设计用于语义分割任务中的上样本部分。该模块包含在我们的上采样块中，以更好地利用从下采样零件中提取的特征。 CAB模块的基本思想是利用高级特征通过平均池产生注意向量，然后该向量作为引导，让模型关注低级特征的不同通道，这也可以被视为一种通过为不同通道分配权重的特征细化。DC块的结构如图4（b）所示。CAB模块插入反褶积层之前，通过注意机制将不同分辨率的特征组合在一起。

 3） 损失函数

Focus loss由Lin等人[24]提出，目的是在困难样本中完成更好的挖掘密集目标检测任务，并防止大量容易产生的负片在训练期间淹没检测器。 这种损失在我们的模型训练中起着重要作用。在训练过程中，焦点损失可以根据训练损失调整样本权重，以便在模型训练过程中为困难样本分配更高的权重。这种损失可以定义为：

为了便于标注，我们将pt定义为：

其中p是分类为正的概率，αt，γ都是超参数。 我们跟踪焦距损失，并根据图像信息修改权重，以便更好地学习轮廓和背景信息。

二、相关

1） 预处理方法

由于训练图像和测试图像的染色过程存在显著差异，颜色归一化已成为预处理中的一个重要步骤。 我们采用了Macenko等人[25]提出的方法，通过提取特征向量来规范化H和E通道。颜色标准化的结果如图5所示。对于颜色归一化的源图像，我们选择它是基于简单的观察，即源图像中的细胞核和轮廓更清晰 。 然后根据输入图像的平均值和标准差对数据进行归一化。此外，为了尽可能避免过度拟合，我们对训练集进行了一些数据扩充操作，如图像翻转、图像裁剪、图像翻译等。 

2） 后处理方法

预测的原始细胞核结果将有许多重叠的细胞，因此我们需要对预测结果进行后处理并细化分割结果。首先，我们得到了轮廓预测图和核预测图，当前景概率超过0.5，轮廓概率低于0.5时，我们将每个像素作为核像素。之后，原子核的重叠有所缓解，但同时原子核掩模小于地面真值。因此，我们使用大小为3的圆盘模板放大每个细胞。这种扩张将停止，直到细胞核像素与轮廓足够接近，以获得最终的分割结果 。

3） 参数设置

初始学习率为0.0001，然后每1000次迭代学习率降低10%。批量大小为2。 优化方法使用Adam，权重衰减系数设置为0.0005。我们将正面和背景的权重设置为1和2。轮廓和背景的权重分别设置为5.0和1.0。历元执行100次，通过数据验证选择模型，并对每个历元进行评估。由于我们的训练损失与我们的评估指数略有不同，我们还评估了骰子[27]、AJI[13]和F1分数[26]。最后，根据三个指标的得分选择最优模型，并利用该模型对测试数据进行评价。在这个过程中采用了一种简单的加权方法，骰子、AJI和F1分数的权重分别设置为0.25、0.5和0.25。

 三、评价标准

核分割方法的评估应同时惩罚目标级（核检测）和像素级（核形状和大小）错误。一个常用的目标检测指标是F1分数[26]。对于由i索引的地面真值对象Gi和由j索引的分段对象Sj，F1分数基于真阳性TP（所有地面真值对象Gi和相关分段（检测到的）对象Sj的计数）、假阳性FP（所有分段对象Sj和相应的地面真值对象Gi的计数），和假阴性FN（所有地面真值物体Gi的计数，没有相应的检测物体Sj）[13]。F1成绩定义如下：

为了使结果更具说服力，Dice系数[27]和聚集Jaccard指数（AJI）[13]也用于评估我们的结果。骰子系数是一种统计方法，用于比较两个样本的相似性。 在图像分割中，这个公式可以细化为：

其中| G |和| S |表示地面真实图像的像素和相关分割图像的像素|G∩ S |表示两幅图像的相交像素。聚集的Jaccard指数也是一个重要的评价指标，它最早由Kumar等人提出[13]。原始卡片索引可以定义为：

与原始Jaccard索引不同的是，对于图像中的每个地面真值nucleus Gi，当分割的nucleus Sj与该图像关联时，Kumar等人[13]通过添加Gi的像素，将贡献添加到聚合的Jaccard索引中∩ Sj到AJIs分子，和Gi分子∪ Sj到分母。此外，分母中还添加了误报和误报像素，这是一种必要的性能，否则，由于分割系统偏向于轻微的欠分割，平均Jaccard指数可能会相对较低。

四、 结果

A.实验结果

基于评估指标，我们将之前的方法（CP[28]、斐济[29]、CNN2[30]、CNN3[13]）作为基线。此外，我们使用了原始U-net、带有DRI模块的U-net、带有DRI和CAB模块的U-net以及我们的RIC Unet的所有测试图像。评估结果如下所示。（见表1）。从表1可以明显看出，原始U-net获得的平均AJI和平均骰子数高于CNN3，但F1平均得分低于CNN3。在添加基于U-net的模块后，我们发现无论是引入DRI模块还是引入DRI和CAB模块，平均AJI和平均骰子数都高于原始U-net，但平均F1分数都低于U-net。此外，单独引入的DRI模块平均AJI和平均F1成绩优于同时引入DRI和CAB模块，但添加DRI和CAB模块可以获得更高的平均骰子。然而，在所有这些方法中，RIC Unet在所有指标中得分最高。

    此外，我们还重点比较了原始U-net和RIC-Unet在测试图像上的性能。为了更好地展示这两种方法的结果，选择了一个核稀疏、重叠不严重的三幅图像，另一个案例也包含了核密集、重叠严重的三幅图像。这六幅图像分别被命名为简单_图像1,2,3和复杂_图像1,2,3。这六幅大图像的子图像分割结果如图6、图7所示，简单案例和复杂案例的评估结果如表2、表3所示。从图6可以看出，我们的方法和U-net都可以对细胞核稀疏的病理图像有更好的分割效果。即使在整体形象的一些评价指标上，U-net的结果也略高于我们的方法。尽管我们的方法可以减少分割失误，但是分割失误的情况比U-net严重。对于复杂的情况，很明显，原始U-net会导致严重的过度分割，但RIC Unet可以适当地抑制这种情况的发生。而U-net的原始结果显示了很多重叠。通过我们的方法得到的结果也有一些重叠，但它们更接近地面真相。

   除了TGCA，我们还使用我们的方法参与了计算精确医学（CPM）核分割挑战。通过使用来自整个玻片组织图像的图像块，我们的目标是减少计算和内存需求。图像块是从一组胶质母细胞瘤和低级别胶质瘤全组织切片图像中提取的矩形区域。训练集中的每个图像块中的细胞核都经过了手动分割。

    通过使用骰子系数的两种变体完成此子挑战的评分：第一种是传统骰子系数（DICE1），用于测量参考/人类分割和参与者分割之间的整体重叠，第二种是集成骰子（DICE2），用于捕获分割区域分割方式中的不匹配，而整个地区在很大程度上存在相似之处。每个图像块的两个骰子系数将在测试数据集中计算。图像块的分数将是两个骰子系数的平均值，整个测试数据集的分数将是图像块分数的平均值。

  虽然需要注意的是，本次挑战没有公开的测试集，但我们提交的结果表明，我们可以在骰子1中获得0.8968，在骰子2中获得0.8280，平均骰子数为0.8624，在本次挑战中获得第三名。挑战的等级可以在 “http://miccai.cloudapp.net/competitions/83#results”找到。

五、讨论

  从表1中，我们发现将DRI模块添加到原始U形网络中会增加感受野，从而导致分割结果的一定改善。尤其是对于普通AJI，有了显著的改善。随着CAB模块的引入，我们希望更多地关注有效的功能，以改善分割结果，但不难发现平均AJI和平均F1分数略有下降，但Dice得到了进一步改进。然而，与原来的U-net相比，添加DRI模块或添加DRI和CAB模块，平均AJI和平均骰子数都可以提高，而F1平均分数则有所下降。 产生这些结果的原因可能是网络太深，图像数量不足以导致一定程度的过度拟合。因此，为了缓解过度拟合，提高平均F1分数以提高细胞核的检测率，在我们的RIC Unet中，我们还使用了残差块，这样网络不仅可以加深对更详细特征的学习，还可以通过跳过连接来丰富语义，从而降低像素级分类的错误率。

我们的网络融合了不同分辨率的信息，并通过额外的轮廓预测来分离接触的细胞核。我们的方法在相关指标上高于其他方法。此外，在一个GPU GTX 1080TI上，一幅1000*1000大小的图像的测试时间不到1秒，包括预处理和后处理时间，计算效率相对较高。

  多器官细胞核分割是数字病理学研究领域的一项重要内容，可以完成检测、细胞计数和肿瘤分类等一系列任务。虽然我们的研究已经改善了细胞核分割的结果，但仍有很大的改进空间需要探索，尤其是对于一些细胞核和轮廓不太清晰的复杂情况。虽然我们的方法在一些更深的背景上比U-net具有更强的识别效果，这些背景的颜色与细胞核的颜色相差不大，但仍然存在一些未分割的结果。

六、 结论

为了使网络更好地学习有效特征，获得更准确的细胞核分割结果，本文提出了一种改进的网络结构，该结构使用了RI块和DC块。该网络不仅在评估指标方面优于其他方法，而且成本效益也足以帮助医生更好地诊断这些组织学图像的细节。核分割的未来研究主题将是强化学习，以自动选择不同分辨率的特征，或者考虑包括测试图像在内的对抗性训练，以利用来自测试图像的特征，而无需注释。此外，设计更有效的后处理方法来处理单元重叠问题也很有意义。