DDTNet: 乳腺癌组织病理学图像中肿瘤浸润淋巴细胞检测和分割的密集双任务网络
HE染色图像中浸润淋巴细胞的形态评估对于乳腺癌的诊断预后和治疗都至关重要。
DDTNet同时实现组织病理学图像中TIL的自动检测和分割。
DDTNet包括一个主干网络（例如特征金字塔网络）用于提取多尺度的形态特征，一个检测模型用于定位TIL中心和一个分割网络，用于TIL边界描绘，其中一个边界意识分支进一步被用于提供一个优于分割的形状。
在本文，一个新型的DDTNet被提出用于同时进行淋巴细胞的检测和分割。检测和分割模型共享相同的主干网络，并且被同时训练用于平衡整个特征提取能力，在这里一个边界意识网络被进一步用于提供额外的形状监督。一个有效的特征融合策略被引入到多尺度特征图中。
对WSIs的TIL分析面临三大挑战：
（1）传统的基于深度学习的框架只关注单个任务（即细胞检测或细胞分割），无法满足目前临床上同时获取淋巴细胞位置和形态信息的需要。
（2）与其他常见细胞（如癌细胞和基质细胞）不同，淋巴细胞体积小得多，在不同BCa患者的组织区域呈现高度异质性分布。这些因素很容易导致自动检测的结果丢失或错误。
DDTNet包括三个主要模块：一个检测模块，一个分割模块和一个重复使用的主干网络用于同时检测和分割。一个特征融合模块被进一步用于从高相关分支内聚合特征。
主干网络：
特征金字塔网络FPN用于特征提取的主干网络。FPN包括自底向上的特征提取，每个阶段是在残差块resnet101的激活输出中得到，分别表示为C1,C2,C3,C4,C5，P5是在C5上进行1*1卷积层生成，P6在P5上经历了一个3*3的卷积层。P1-P4通过P2-P5的向上采样图和相应C1-C4元素相加来计算。即P4=P5上采样+C1进行1*1卷积之后进入检测模块，检测模块包括5个检测头，每个淋巴检测头包括一个淋巴细胞边界盒分支和一个淋巴细胞标签分支。淋巴细胞边界盒分支预测淋巴细胞边框距离输入图四周的相对距离，也就是一个思维向量（l,t,r,b）；标签分支在相应的每一个位置上生成一个淋巴细胞分类概率。在标注中，边框中的点被标记为淋巴细胞，其他位置为背景，如果边框被分类为淋巴细胞，淋巴细胞边界框分支将会把预测的淋巴细胞边框回归到最好的位置，若分类为背景，边界框的向量将会被删除。除此之外，还预测了淋巴细胞中心度信息，以降低低质量预测框的概率，淋巴细胞中心度图是通过计算从每个淋巴细胞掩码内的位置到相应的手动注释点的归一化距离来获得的。
分割模块用于提取准确的淋巴细胞邢台信息。因为单个淋巴细胞的体积较小，所以在P1层连接分割模块，其中淋巴细胞分割头进一步分为淋巴细胞掩码分支和淋巴细胞轮廓分支，掩码分支用4个3*3卷积层，再进入特征融合模块，再生成淋巴细胞mask的分割结果，淋巴细胞轮廓分支主要用来帮助分离重叠的细胞，帮助mask进行更准确的分割。
特征融合模块主要是利用低分辨率层的信息，可以在不显著增加参数数量的情况下提高分割性能。
之前的研究揭示TILs的形态学评估在BCa的诊断，预后和治疗反应预测方面具有临床价值。
本文的主要贡献如下：
1.设计了一个新的组织病理学图像中同时检测和分割淋巴细胞的网络，其中检测和分割模块共享同一主干网络，用于相互学习和促进。该网络在淋巴细胞检测和分割方面达到了最先进的性能。
2.提出了一个特征融合策略，将多尺度上下文特征与淋巴细胞位置信息进行融合，并进一步使用边界感知分支为分割提供额外的形状信息，从而缓解了细胞重叠问题，提高了淋巴细胞实例分割的性能。
3.提出了一种半自动的方法，从淋巴细胞中心人工标注的点生成高质量的淋巴细胞边界标注。所提出的方法扩展了现有的公共数据集，并将促进未来淋巴细胞识别框架的开发。
损失函数：整体损失函数主要包括两部分，一部分是检测的总的损失函数，一部分是分割的总损失函数。
检测的损失函数包括三部分：Llabel（label分支） Lcenter（center-ness分支） Lreg（BBox分支）：
Llabel分支的损失是一种焦点损失：
推理
通过将输入的HE图像输入DDTNet，可以同时获得淋巴细胞检测和淋巴细胞分割参数。对于淋巴细胞检测，将淋巴细胞标记分数、淋巴细胞中心置信度和淋巴细胞盒回归融合，为每个淋巴细胞生成一个完整的边界盒。首先，将淋巴细胞标记分数和淋巴细胞中心度置信度乘以最终淋巴细胞边框置信度。然后，合并每个FPN级别最多1K个候选预测框，最高得分大于置信阈值0.5，并应用阈值为0.3的非最大值抑制来筛选最终淋巴细胞边界框。对于淋巴细胞分割，从淋巴细胞模板图中减去预测的淋巴细胞轮廓图。对于对齐问题，仅选择淋巴细胞边界框内的mask作为最终淋巴细胞分割结果。同样，不包含任何mask的边框也会被移除，以统一淋巴细胞检测和分割结果。
3833
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
