三重u-net:具有渐进式密集特征聚集的苏木精感知的细胞核分割
摘要
核分割是病理性肿瘤研究的重要环节。由于手工操作不均匀导致的颜色不一致、肿瘤细胞核边界模糊、肿瘤细胞重叠等困难，目前仍是一个有待解决的问题。
在本文中，我们的目的是利用H&E染色图像的独特的外观特征，即苏木精总是将细胞核染成蓝色，而伊红总是将细胞外基质和细胞质染成粉红色。
因此，我们利用比尔-朗伯定律从RGB图像中提取苏木精成分。根据光学属性，提取的Hematoxylin组分对颜色不一致具有较强的鲁棒性。利用苏木精组分，我们提出了一个苏木精感知的CNN模型，用于核分割而不需要颜色归一化。
我们提出的网络是一个三重u网结构，包括RGB分支，苏木精分支和分割分支。
然后我们提出了一种新的特征聚合策略，允许网络逐步融合特征，并从不同分支学习更好的特征表示。
我们进行了大量的实验来定性和定量地评价我们所提出的方法的有效性。同时，该算法在三种不同的核分割数据集上都有较好的性能。
1 介绍
病理切片被认为是癌症诊断的金标准，因为它们提供了大量的肿瘤信息。数字病理图像目前已被广泛应用于临床预测，如诊断、预后、转移等。
通过分析全片图像(WSI)中核模式的形态特征，核分割在这些临床应用中起着至关重要的作用。
通过对肿瘤细胞、上皮细胞、免疫细胞等的分布进行检测，可以进一步客观、定量地评价恶性组织。
一个成功的分割结果，特别是具有精确细胞边界的分割结果，将极大地有利于后续的预测结果。
然而，核的分割仍然是一项重要的任务。
首先，整个切片图像采集过程中的非均匀操作可能导致图像不一致。例如，手动血氧嘧啶和伊红染色或不同的载玻片扫描仪可能导致颜色不一致和细胞核边界不清。
第二，由于恶性细胞的生长速度极高，肿瘤组织中恶性细胞的密度通常比正常组织中高得多。肿瘤细胞与正常细胞之间的挤压会导致大量的细胞之间的闭塞和重叠。
传统图像分割技术(Otsu, 1979;Vin- cent和Soille, 1991年;Cheng et al.， 2008)利用低水平图像特征或简单的阈值策略分割细胞核。然而，很难为所有病理图像选择一个合适的阈值。当出现上述困难时，这些方法也可能无法预测出满意的工厂分割结果。
近年来，卷积神经网络(CNN)方法(He et al.， 2017;Long et al.， 2015)在自然图像分割任务中取得了很有前景的结果。然而，由于自然图像和医学图像的特性不同，这些方法很难直接应用于nuclei分割。
U-net及其变体(Ronneberger et al.， 2015;Zhou et al.， 2018)已经在医学图像分割中证明了其有效性。但这些方法仍面临一些挑战。主要的问题是缺乏具有像素级标签的数据集。因为手工构建病理数据集需要很高的专业知识，而且是劳动密集型的。
此外，一个简单的U-net结构也不能很好地预测出精确的核边界。
随着最近提出的核分割数据集(Kumar et al.， 2017)，越来越多的CNN模型被提出，并取得了出色的性能。一些方法(Graham et al.， 2019;Naylor等人，2018)依靠距离图来分离接触或重叠的核。Koohbanani等人(2019)考虑了spa信息，提出了一个免提案模型。Zhou等人(2019b)提出了一种轮廓感知CNN模型，称为CIA-Net，用于预测更精确的核边界。但是，分割性能仍有改进的空间。
在本文中，我们从一个新的角度进行核分割，并提出了一个苏木精感知网络。我们提出的方法利用了H&E染色的光学特性，苏木精总是将细胞核染成蓝色，而伊红总是将细胞外基质和细胞质染成粉红色，如图1(a)所示。
（图1所示。对比灰度图像(b)和H&E染色WSI斑块(a)中提取的苏木精成分(c)。(c)细胞核和细胞质之间的对比比(b)高得多，即使颜色不一致也更稳健。）
根据Beer-Lambert定律(Parson, 2007)，我们采用颜色分解方法，从RGB颜色空间中提取Hematoxylin (H)组分，得到更加清晰的核视图。
可以看出，图1(c)中细胞核与胞浆、间质之间的对比度远高于图1(b)，即使两个WSI斑（WSI patches
）的颜色不一致。
为了充分利用H分量，我们提出了一种用于细胞核分割的三重u网结构。我们的网络包括三个U-net分支，一个RGB分支，一个hematoxylin (H)分支和一个segmentation分支。
RGB分支用于提供原始图像的原始特征表示。
引入H分支，以实现更精确的轮廓感知监管。
分割分支在每个卷积块上对其他两个分支的特征进行聚合，最终预测分割结果。
我们提出了一个渐进密集特征聚合模块(PDFA)，而不是直接连接来自不同分支和不同任务的所有特征。它允许网络逐步合并和学习来自不同图像域的特征。我们进行了大量的实验来定性和定量地评价我们所提出的方法的有效性，它在三个不同的核分割数据集上优于目前最先进的方法。
本文的主要贡献有三个方面:
·我们定制了一个具有三重u网结构的苏木精感知网络，用于细胞核分割，无需颜色归一化，并实现了最先进的细胞核分割性能。
·提取苏木精成分，为网络监控提供更精确的轮廓感知，以更精确的核边界预测分割结果。
·PDFA模块允许网络逐步聚合来自不同领域的特征。
２.１. 基于cnn的自然图像分割
随着计算能力的增强和数据的爆炸式增长，卷积神经网络已经在自然图像分割领域占据了主导地位。
完全卷积网络Fully convolutional network FCN
(Long et al.， 2015)被提出用于语义分割，它允许网络接收任意大小的图像。Zhao等人(2017)提出了一种利用全局上下文信息的金字塔池模式PSP-Net。DeepLab系列(Chen et al.， 2017a;Chen et al.， 2017b;Chen et al.， 2018)提出并取得了很好的语义分割结果。与语义分割不同，实例分割在实例级执行分割任务。He等人(2017)提出了一个著名的模型Mask-RCNN，将基于区域提议的目标检测任务扩展到实例分割。Liu等人(2018)提出了一种自适应特征池化方法，将特征从编码阶段传播到提议的子网中。de Geus等人(2018)使用启发式将语义和实时分割任务的预测合并，以实现更有效的全景分割。Yang等人(2019)提出了一种单镜头、自底向上的图像解析器来联合处理语义和实例分割任务。
然而，由于这些方法的区域差异，我们不能直接将其应用到医学图像分割中。尽管如此，了解这些杰出的细分技术仍然是值得的。
２.２. 基于cnn的医学图像分割
医学图像分割可以根据图像生成的方式进行功能分离，如CT (Christ et al.， 2016;Roth等人，2015)，MRI (Havaei等人，2017;Pereira et al.， 2016)、超声(Milletari et al.， 2017)、全片成像WSI(Bejnordi et al.， 2017)等。对于像WSI这样的切片图像，它可以进一步分为细胞级别(Naik et al.， 2008;Kumar等人，2017)和组织级别(Chen等人，2016;Xu et al.， 2016)。
基于学习的医学图像分割的瓶颈是缺乏训练数据。U-net (Ronneberger et al.， 2015)已经在很少的训练图像的医学图像分割中显示出了很好的效果，因此许多U-net混合算法被提出。Zhou et al.(2018)用密集的跳跃连接代替了简单的跳跃连接，以获得更完整的多层次信息。Li等(2018)提出了一种用于CT体积分割的混合密集连接U-net 。Man等人将强化学习与几何感知U-net相结合来激活CT胰腺分割的搜索策略。
除了u-net体系结构外，还提出了许多更好的分割方法。Havaei等人(2017)提出了多网络架构来融合不同接受域下的图像特征，实现高质量的MR图像tumors分割。Chen等人(2016)提出了一种基于fcn的gland segmentation模型，通过同时预测轮廓图和实例概率图来分离触摸腺体。Zhang等(2017)发布了用于gland实例分割的数据集，提出了一种基于gan的分割网络。Chan等人(2019)提出使用类激活图进行弱监督组织分割。
２.３. 细胞核分割
核分割是计算机辅助诊断和肿瘤微环境分析的基本步骤。
早期的方法(Otsu, 1979)基于颜色阈值和背景减法从组织病理学图像中分割细胞核，但是很难为所有场景选择一个合适的阈值。标记控制分水岭分割(Vincent and Soille, 1991)，基于原始种子点直接指向生长区域，往往导致假阳性分割。这些传统技术通常有复杂的后处理，很难处理具有挑战性的场景，如重叠和遮挡。
近年来，深度学习模型在核分割中得到了广泛应用。
Kumar等人(2017)提出了一个具有挑战性的核分割数据集，丰富了群体的数据。Naylor等人(2018)将分割问题定义为距离图的回归任务，以克服接触核的困难。HoVer-Net (Graham et al.， 2019)被提出同时进行核分割和分类。Chidester等人(2019)提出了一些基于U-net结构的增强策略，包括残差块和数据增强。一种新颖的染色感知损失函数(Graham和Ra- jpoot, 2018)是为H&E成像中的染色变异量身定制的。Liu等人(2019)设计了一种结合了实例分割和语义分割的双分支全景模型。Koohbanani等人(2019)利用了空间信息并提出了一个无提案模型。CIA-Net (Zhou et al.， 2019b)利用附加的轮廓监督获得更精确的核边界分割结果。但现有的核分割方法仍有改进的空间。
在本文中，我们考虑了H&E染色图像的代表性颜色特征，提出了苏木精感知的核分割方法。
3 提出的方法
我们提出的三重u-net网络结构如图2所示。
图2所示。网络体系结构。我们提出的网络包括三个分支机构。
RGB分支(上)和H分支(下)采用三次下采样相同的结构，分别用于提取原始特征和轮廓特征。
分割分支(中间)合并其他两个分支的特征，并预测分割结果。橙色的块是我们提出的渐进密集特征聚合模块。
注意，为了简化，省略了三个分支中的所有跳过连接。
我们的网络包含三个u-net分支机构，服务于不同的目的：
RGB分支用于提取分割任务的原始特征。
H分支的重点是感知苏木精特征提取的核边缘检测任务。由于苏木精成分对颜色不一致有很强的鲁棒性，我们没有对原始图像进行任何颜色正态化，以避免归一化过程中信息的丢失。
分割分支融合RGB原始特征和苏木精感知轮廓特征，然后预测最终分割结果。
需要注意的是，为了对图进行仿真，图2中三个u型网支路的跳跃式连接全部省略。
我们将在3.1节介绍苏木精成分的提取。
在第3.2节提出了一种新的渐进密集特征聚合模组(PDFA)。
我们的网络的损耗函数在3.3节中演示。
第3.4节展示了实现和培训细节。
3.1。苏木精成分提取
苏木精和伊红(H&E)染色已经用于癌症诊断至少一个世纪了，因为它可以从本质上区分细胞质、细胞核和细胞外基质特征。根据H&E染色原理，苏木精将细胞核染成蓝色，伊红将细胞外基质和胞浆染成粉红色。在本文中，我们旨在利用H&E染色的上述独特特性作为苏木精感知的指导来进行分割网络。
为此，我们应用了一种颜色分解技术(Ruifrok et al.， 2001)来分解原始RGB图像中的苏木精成分。由于该方法对已被H&E染色的WSI的颜色不一致具有鲁棒性，因此在传统方法中常被用作颜色归一化预处理。
我们假设每个RGB通道的灰度值与光透射率T = I/I0 成线性关系，其中I0为入射光，I为透射光。因此，对于三个RGB通道中的每一个，每个特定的色斑（specific stain）
都将由一个特定的吸收因子c来表征。然后我们可以用比尔-朗伯定律(Parson, 2007)来模拟染料与其吸收之间的关系。每个RGB通道的能量I可表示为:XXXXXXX
其中I0为进入标本的光强，I为通过标本的光强。A为染色量，c为吸收系数。
由于各通道中相对强度的非线性，图像的强度值I不能直接用于染色颜色分解。因此，我们计算试样的光密度o，它与吸收色斑的浓度-成线性关系，如下:XXXXXX
由式(1)可得:XXXXXXXX
所以每个特定的染色都可以用特定的光密度向量来描述。
这里，苏木精导致R、G和B通道的o值分别为【0.18、0.20、0.08】。有了这个颜色表示模型，我们就可以将RGB颜色空间映射到任何染色特定的颜色空间。在此模型基础上，采用Ruifrok et al.(2001)提出的颜色反褶积方法提取苏木精成分。
３．２． 渐进密集特性聚合模块
在我们提出的三重u-net中，RGB分支和H分支分别在分割任务和细胞核轮廓检测任务中为特征提取服务。
RGB分支以原始图像为输入，提取原始图像特征。
H分支被设计为感知苏木精的监督分支。
引入附加分割分支，将原始特征和感知苏木精的轮廓特征融合在一起，从编码阶段到解码阶段，预测最终的分割结果。
为了融合和学习具有不同目标的不同分支的更好的特征表示，我们提出了一种具有密集连接的更柔和的特征融合策略，称为渐进密集特征聚合(PDFA)。
图3所示。密集连接块(Huang et al.， 2017) (a)和我们提出的渐进密集特征聚合模块(b)。PDFA不仅继承了密集连接块的优点，而且当来自不同领域的新特征出现时，提供了更软的特征聚合策略。
PDFA的目的简单而直观。当来自不同图像域或任务的新特征出现时，我们希望网络逐步地将之前的特征与后的特征融合，而不是直接将所有的特征连接在一起。
图3(b)展示了我们提出的PDFA模块。紧密连接块与正常相比(黄et al ., 2017，在图3-a),我们提出的PDFA模块不仅继承了紧密连接块的优点（例如,加强传播特性，鼓励特征重用,大大减少参数的数量），还提供了一个更为合理的特征融合策略。
请注意，一个PDFA模块中的层数是由要融合的新特性的数量决定的。在我们的网络解码阶段，PDFA模块包含4层，如图3(b)所示。但在编码阶段，由于在网络开始时没有跳过特性，PDFA模块只包含三层。
在4.4节中进行了消融研究，以评估我们提出的PDFA与正常密集连接块的有效性。此外，我们还讨论了在消融研究中特征聚合对网络的影响。
3.3。损失函数
总目标函数为三个分支损失的加权和:XXXXXXXXX
其中λi为相应损耗的超参数。每个损失的细节描述如下三个小节：
3.3.1 RGB分支
由于RGB颜色空间中的原始图像包含了原始信息，可以为分割任务提供最丰富的语义信息，因此该分支的直接输出受二值交叉熵损失(binary cross entropy loss)
ground truthf分割的监督，在进行分割时获得最精确的像素级特征。因此，损耗L_RGB的定义如下:XXXXXXXXX
3.3.2 H分支
H分支输入的苏木精组分直接反映H&E染色整张切片图像苏木精浓度，突出细胞核轮廓，对颜色不一致具有鲁棒性。
因此，我们利用苏木精成分的轮廓信息，在H分支中分配细胞核轮廓检测任务，引导模型更好地学习细胞核的轮廓信息。因此，该网络能够以更精确的核边界预测分割结果。在此，我们对该分支采用了软骰子损失算法Soft Dice Loss，使模型能够集中学习核轮廓信息。损失函数为:XXXXXXXXx
其中xi为第i个像素的预测概率，yi为ground truth。
3.3.3 分割分支
由于染色颜色不一致和细胞核边界模糊，在像素级细胞核分割的人工标注过程中，不可避免地会出现核标错和边界不准确的情况。结果，这些不准确的标签可能会支配梯度，从而阻止网络学习信息样本。
因此，在分割分支中，我们采用了Zhou等人(2019b)提出的平滑截断损失(Smooth Truncated Loss)来抑制离群值的干扰。损失的定义如下:XXXXXXXXXX
其中xi为第i个像素的预测概率，当yi = 1时xi = x，当yi = 1时xi = 1-x。γ = 0.3为截断点。
此外，我们还引入了一个软骰子损失的分割分支如下:XXXXXXXXXx
3．4． 实施和训练细节
我们使用Pytorch 1.2.0在一个安装了NVIDIA GeForce RTX 2080 Ti的工作站上实现我们的网络。
在训练过程中，我们使用了弹性变换、随机裁剪、镜像、旋转和翻转等数据增强方法。
我们将每个原始图像(1000 × 1000像素)裁剪成16个小块(256 × 256像素)，然后将它们输入网络。
我们使用AdamW优化与批大小=2。
学习率初始化为10^-4，学习率衰减为0.96。
重量衰减weight decay设置为10^-4。
设定损耗λi的超参数为{0.3,0.3,1,0.3}。
在训练过程中，我们没有使用迁移学习和独立分支培训。
4 实验
我们进行了大量的实验来定量和定性地评估我们提出的三重u-net在细胞核分割中的有效性。
第4.1节介绍了数据集和评估指标的细节。
4.2节和4.3节给出了与现有方法的定量比较。
我们还在4.4节中进行了烧蚀研究，以评估三重u-net结构的有效性、提出的渐进密集特征聚合模型的优越性以及不同损失函数的影响。
第4.5节演示了定性结果。
我们将在第4.6节中展示我们模型的局限性并进行一些讨论。
4．1. 数据集和评估指标
我们在三个核分割数据集上评估我们的模型，
(1)多器官核分割(MoNuSeg)数据集(Kumar et al.， 2017)，
(2)结直肠核分割和表型(CoNSeP)数据集(Graham et al.， 2019)
(3)CPM-17 (Vu et al.， 2019)。
MoNuSeg包含7个器官，30张1000 × 1000分辨率的图像，标注了超过21000个核边界。
我们将所有图像划分为一个训练集和一个测试集。
训练集包含来自4个器官的16幅图像，
测试集包含来自7个器官的14幅图像。
我们使用与现有方法相同的图像分割(Zhou et al.， 2019b;Graham等人，2019;Kumar等人，2017年)。
CoNSeP涉及41幅H&E染色图像，
每幅图像为1000 × 1000像素，在40倍放大倍数下扫描。
这些图像提取自不同结直肠癌(CRA)患者的16个WSIs，但涉及不同的组织和细胞类型。我们使用与(Graham et al.， 2019)相同的图像分割来进行训练和测试集，
其中训练集包含27幅图像，测试集包含14幅图像。
CPM-17包含40张具有像素级标注的病理图像，
其中32张在训练集，8张在测试集。
每张图像是500 × 500像素，在40倍放大扫描。
该数据集包含多种肿瘤类型，包括非小细胞肺癌(NSCLC)、头颈部鳞状细胞癌(HNSCC)、多形性胶质母细胞瘤(GBM)和低级别胶质瘤(LGG)肿瘤。
在实验中，我们使用三个常用的指标来评估每个模型的核分割结果，包括聚合Jaccard指数Aggregated Jaccard Index(AJI) (Kumar et al.， 2017)、Dice评分Dice score 和展示全景的质量Panoptic Quality(PQ) (Kirillov et al.， 2020)。
AJI的定义如下:XXXXXXXXXXXX
N为不含相应ground truth的预测结果的指标集。
denote：表示
DICE分数定义如下:XXXXXXXXXX
P和G分别表示预测结果和ground truth。
AJI评分可能会过度惩罚重叠区域。
为了避免这个问题，引入了展示全景的质量Panoptic Quality (PQ) (Graham et al.， 2019)来评估实例级核分割的性能，其定义如下:XXXXXXXXXXXXX
在实例级，X和y分别表示ground truth和预测段。
IoU表示在并集上的交叉点。当每个(x, y)对的IoU > 0.5时，可以认为结果是唯一的(Kirillov et al.， 2020)。
TP、FP和FN分别表示匹配的预测、非匹配的预测和非匹配的ground truth预测。
4．2. 与现有方法进行定量比较
我们将我们的模型与几种语义分割基线模型和现有的核分割模型进行了比较，包括:
(1) CNN3 (Kumar et al.， 2017)，
(2) Mask R-CNN (He et al.， 2017)，
(3) DIST (Naylor et al.， 2018)，
(4) DCAN (Chen et al.， 2016)，
(5) Deep Panoptic (Liu et al.， 2019)，
(6) hovernet (Graham et al.， 2019)和
(7)CIA-Net (Zhou et al.， 2019b)。
由于CNN已经证明了它在分割任务上的优势，我们只将我们提出的网络与现有的基于CNN的模型进行比较。
请注意，Mask R-CNN的结果是由hover-net的作者实现的(Graham et al.， 2019)。
(7)的DICE得分由CIA-Net作者发布的模型计算(Zhou et al.， 2019b)。
其他模型的定量结果直接来自他们各自的论文。表1展示了定量结果。
表1 与现有方法进行定量比较。
CNN3(1)是细胞核分割的基线模型。
Mask-R-CNN(2)在AJI得分上比(1)表现得更好，这要归功于区域提议策略region proposal strategy。
DIST模型(3)利用距离图进行核分割，取得了很好的结果。
然而，由于距离图和区域图都不能保证精确的核边界，它们的结果仍然远低于其他方法。
DCAN(4)中的轮廓感知模型允许它预测更多的曲线边界。但是简单FCN骨干的网络容量较低，导致AJI评分不理想。
Deep Panoptic(5)引入了一个附加的语义分支和一个实例分支，用于考虑全局和局部特性。它可以预测更精确的核位置，避免了AJI测量中假阳性的惩罚，从而获得比(1)到(3)更高的AJI评分。
因为核的形态是临床研究的重要特征。
hovernet(6)提出同时使用水平距离图和垂直距离图，在同一网络中形成分割任务和分类任务。
CIA-Net(7)引入了轮廓监督，以获得更精确的核边界分割结果，并提出了平滑截断损失，以ground truth抑制非重叠区域。
我们的方法在三种不同的指标和数据集上的整体分割性能优于最新的模型(6)和(7)。
我们提出的苏木精感知网络不仅实现了最新的分割性能，而且避免了任何颜色归一化预处理步骤。
4．3． 交叉验证
我们还进行了5倍交叉验证，以统计评估我们提出的网络与最先进的算法相比的稳定性。因为我们的定量结果如表1所示明显高于其他方法。在这个实验中，我们只与hovernet进行比较(Graham et al.， 2019)。
值得注意的是，我们使用他们发布的代码来训练hover-net，并且完全遵循本文中显示的训练策略。统计结果如表2所示。
表2 交叉验证
在MoNuSeg、CoNSeP和CPM-17三个不同的数据集上，我们将我们提出的模型与hovernet进行了比较。表格的上半部分是hovernet的结果，下半部分是我们的结果。
与现有的核分割模型相比，我们的模型在所有的数据集上都显示出了它的优越性。
4.4. 消融研究
我们进行了消融研究，以评估苏木精感知模型的有效性、提出的递进密集特征聚合模块的优越性以及不同损失配置的影响。
4.4.1。苏木精感知模型的有效性
在本实验中，我们从三重u-net结构、苏木精感知模型和颜色归一化三个方面来评估我们提出的网络的有效性。因此，我们比较了不同网络结构和不同输入配置下的完整模型。
表3所示的网络设置如下所示:
(1)-(4)一个U-net结构，分别输入RGB、灰度、苏木精成分、RGBH图像。
(5)多任务框架，包括轮廓检测任务和核分割任务。
(6)-(11)三重u网结构，将H分支的输入图像分别替换为R通道、G通道、B通道、RGBH、灰度图像和RGB图像。
(12)我们的完整模型。
(10†)-(12†)带有(†)的模型采用了颜色归一化方法(Vahadane et al.， 2016)在RGB分支中输入RGB图像。
注意，在这个实验中，所有的u-net结构只上采样和下采样三次。所有的三重U-net变种的损失配置于我们的最终模型是相同的。单个u型网的损失配置与平滑截断损失和软骰子损失的分割分支相同。
统计结果见表3。
表3。苏木精感知模型的有效性。H、R、G、B分别为苏木精成分，R通道、G通道、B通道。
可以看出，由于网络能力有限，且缺乏轮廓监控，单u-net结构的(1)~(4)模型总体上比三u-net结构的(6)~(12)模型差。
模型(1)到模型(4)中，输入灰度图像的模型(2)由于颜色信息丢失，表现最差。
有趣的是，即使苏木精成分也失去了颜色信息，(3)仍然显示出与(1)相似的结果，因为光吸收模型已经分解了苏木精染色的颜色。这也证明了提取的苏木精成分对H&E染色的细胞核分割任务是可靠的。
采用RGBH输入图像的模型(4)在四个单一u形网结构基线中表现出了最好的结果。
结果表明，苏木精成分对分割具有额外的指导作用。
我们还将我们的模型与多任务学习基线(5)进行了比较，其中有两个任务，一个是轮廓检测任务，另一个是分割任务。尽管由于多任务训练，它仍然优于单一U-net模型(1)到(4)。
与模型(6)到(12)相比，它仍然缺乏特征聚合策略。
(6)到(12)分别给出了采用R通道、G通道、B通道、RGBH、RGB、灰度和Hematoxylin成分进行轮廓监督的Triple U-net结果。
可以看出，增加了单独的轮廓监督分支，相比于(1)到(4)只有一个U-net的模型，性能得到了提升。
但是，这些模型的分割结果仍然不如(12)。
因为H分支最初是根据H&E染色的颜色特性设计用来检测细胞核轮廓的。当用其他没有这种颜色特性的图像替换苏木精成分时，H分支的性能下降。
多亏了苏木精感知模型，颜色归一化在我们的网络中不再是必需的。为了证明这种强度，我们还比较了模型与(†)和没有颜色规格化。
我们可以观察到，具有颜色归一化(10†)和(11†)的模型比没有颜色归一化(10)和(11)的模型表现略好。这是因为H分支的输入图像不包含苏木精成分的染色颜色特性。这就是为什么额外的颜色规格化可能有帮助的原因。
相比之下，当我们将苏木精组件放入模型中的H分支(12†)时，RGB图像的颜色或失真就成为了负担。因为苏木精成分本身已经独立于颜色的变化。对RGB图像进行进一步的颜色归一化可能会导致信息丢失，从而意外地损害分割性能。我们的最终模型(12)显示了最好的性能，并证明了颜色变化的鲁棒性。
4.4.2。渐进密集特征聚合PDFA的有效性
在第二次消融研究中，我们评估了我们提出的PDFA模块的性能。我们将我们的完整模型与以下两种变体进行比较:
(1)我们用常规卷积块替换PDFA模块。
(2)我们用密接块替换PDFA模块(Huang et al.， 2017)。
同时，feature coming order和merge order对网络性能的影响也值得探讨。因此，我们也尝试了三种不同特征在解码阶段的所有顺序组合，包括从skip connection、RGB分支和H分支的特征，如表4中的(3)到(8)所示。
为了避免对最终模型的主观选择，我们对训练集和测试集进行了完全随机的图像分割，从其他实验中使用的数据集中分离出来。
从表4中可以看出，我们的模型使用密集块(2)无疑比卷积块(1)的效果更好。无论特征聚合顺序(3)到(8)，我们所提出的PDFA模块都证明了它与常规稠密块(2)相比的优越性。
结果表明，以渐进的方式聚合特征，特别是来自不同领域或分支的特征，可以使网络更好地学习特征。构建(3)到(8)的模型，讨论特征聚合顺序对网络性能的影响。
可以看出，即使三个测量分数以不同的顺序摇摆，统计结果也处于较高的标准，这说明特征聚合顺序实际上对网络性能的影响并不大。我们按照以下顺序选择性能最好的模型(Skip-RGB-H)，本文中显示的所有最终结果都是使用这个特征聚合顺序生成的。
图4。消融研究的定性结果。我们展示了每个结果与地面真实图像之间的差异图，以更清晰的可视化。图中的蓝色区域表示结果与地面真实的交集。红色和绿色区域分别表示假阳性和假阴性分割。黄色框突出显示所有结果的差异。H表示苏木精成分。(读者可参阅本文的网页版本，以了解图例中有关颜色的说明。)
通过可视化每个结果与地面真实之间的差异图，图4还显示了两个消融研究的定性比较。在这里，我们有选择地演示来自代表性模型的结果，以获得更好的布局和可视化。从差分图中我们可以看出，我们的完整模型比其他变量给出的结果与地面真实值相比是最准确的。
此外，我们的结果具有最准确的核边界和较少的假阳性和假阴性分割。
4.4.3。不同的损失函数配置
在本实验中，我们旨在讨论不同损失函数的影响。由于RGB分支和H分支的目标明确，且这两个分支的损失函数比较简单，所以我们只讨论分割分支中的损失函数配置。
(1)仅平滑截断损失。ST
(2)软骰子损失仅。SD
(3)平滑截断损失和软骰子损失(我们的)。ST+SD
(4)具有平滑截断损失的悬浮网。hovernet+ST
表5 不同的损失配置
表5显示的结果非常直观。平滑截断损失ST的最初设计是为了抑制离群点，即与ground truth不重叠的区域。
(1)和(3)具有平滑截断损失，其AJI和PQ性能优于(2)。引入软骰子损失以提高像素分割精度。
(2)和(3)具有软骰子损失的骰子得分比(1)更好。
我们最终的模型(3)具有两种损失，在这三种模型中表现最好。
我们还在hover-net(4)中应用了平滑截断损失。有ST损失的hover-net性能急剧下降。这是因为hovernet是一个多任务网络，所有任务共享同一个编码器。对某一特定任务添加过多的约束可能导致网络训练的不平衡，使网络过分强调该特定任务。但是这个问题不会在我们提出的网络中发生，因为在主分割分支中引入了ST损失。
4.5。实例分割结果
图5为实例分割结果。
从图5(d)的差分图可以看出，细胞核分割良好，分割结果与图5(b)的ground truth相似。虽然在核边界上仍然存在一些假阳性和假阴性的分割，但我们预测结果的总体形状仍然与地面真实高度一致，甚至比一些人工标签更准确。
图5所示。实例分割的结果。(a)为输入图像。(b)是地面真理。(c)是我们模型的结果。(d)显示地面真实值与我们的结果之间的差异图。蓝色区域表示我们的结果和地面真相的交集。红色和绿色区域分别表示假阳性和假阴性分割。(读者可参阅本文的网页版本，以了解图例中有关颜色的说明。)
4.6。讨论
在实验中，我们发现了一些不完善的ground truth标签。
一个是不准确的核边界，在图6(b)的黄色框中高亮显示。
另一个是蓝色盒子里的一些未标记的核。
图6所示。MoNuSeg数据集中的不准确标签示例(Kumar et al.， 2017)。
ground truth (b)中被忽略的核标签标在蓝色框中。
地面真值(b)中不准确的核边界用黄色方框标出。
经验丰富的病理学家证实了对这些不准确标记的观察的正确性。
我们在(c)中的结果在某些情况下比地面真实值具有更精确的边界。(读者可参阅本文的网页版本，以了解图例中有关颜色的说明。)
然而，这些缺陷是不可避免的，因为病理学家在手工操作时将面临许多困难。高分辨率的WSI图像使得很难标记所有的细胞核。肿瘤细胞核界限模糊，颜色对比度低，人工标记不准确，特别是在细胞核边界上。
幸运的是，这些缺陷可能是数据的噪声，以某种方式可以避免模型过拟合。在某些情况下，我们提出的模型可以检测错误标记的核，并显示更精确的边界。它可以是手工注释的补充。
图6(c)显示了我们对图6(a)的结果。我们可以观察到，我们提出的模型分割了一些未标记的核，并预测了比黄色和蓝色框中的地面真实值更准确的边界。
然而，我们提出的模型有一个明显的缺点，即不能很好地分离附着的细胞核，这也是现有方法的一个共同的局限性。
为了测量专家对分割结果的一致程度，我们还邀请了五位经验丰富的病理学家进行评估。我们从每个数据集随机选取20幅图像，共选取60幅图像。每组包含两张图片，hovernet vs. GT（ground truth）, Ours vs. GT, hovernet vs. Ours。对于每个分割对，要求病理学家从两个方面选择更好的分割结果，实例级分割的完整性和细胞核边界的精度。所以每个评分者必须为每个比较做出120个选择。
图7显示了所有比较的5个评分者的总体投票得分。
图8(a) - (c)显示了hover-net与GT、Ours与GT、hover-net与Ours的评分者间的信度，由Cohen的Kappa评分衡量。
5. 结论
在本文中，为了从WSI图像中分割细胞核，我们提出了一种基于hematoxylin感知的三重u网，这是一种新的范式和视角，可以有效地利用H&E染色的独特特性进行网络监督。
将WSI建模为一种光吸收现象，并利用Beer-Lambert定律提取苏木精成分，我们提出的模型对颜色不一致具有更强的鲁棒性，因此不再需要颜色归一化。
此外，我们提出了一个更合理的特征聚合模块，称为渐进密集特征聚合，它允许网络逐步合并和学习来自不同领域或不同任务的特征。在三个数据集上的大量实验和消融研究证明了该网络的优越性。定量实验表明，本文提出的方法达到了最先进的细胞核分割性能。
320
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
