Hover-net: Simultaneous segmentation and classification of nuclei

期刊：Medical Image Analysis

Author: Simon Graham, Quoc Dang Vu等

Background:

同时进行核分割和分类方法的发展使得在一个全切片病理图像中定量分析成千上万个核成为可能。

Method

1.整体流程

这是论文提出方法的整体流程图，输入的图像会进行三个分支的任务，一个是进行分类;一个是进行像素是否为核像素的预测，还有一个是核像素距离核像素集合质心水平垂直距离图的预测，后两个任务共同完成图像的细胞核分割任务。像素预测判断出像素是否是核像素，也就是把核像素从背景中分离出来；然后水平垂直距离图的任务是把连在一起的核像素给分离开。如果没有细胞核分类的标签，就不会进行分类的任务，这个时候会得到(a)的结果，全是同一种颜色的细胞核轮廓；如果有细胞核分类的标签的话，就会进行三个分支，最后得到的是（b）图的结果，不同颜色代表不同类别。

后处理中有一个水平垂直距离梯度的图，计算梯度可以告诉核应该在哪里分开，因为相邻核之间的梯度输出是一个比较高的值，相邻核之间像素值有明显差异。他利用这个公式来计算，px和py是水平垂直距离预测，Hx和Hy是sobel算子的水平和垂直分量，来计算水平和垂直导数。所以Sm强调了临近像素有显著差异的区域。在给定energy landscape的情况下，利用M作为标记控制分水岭期间的标记来确定如何分割涛

这个图中用箭头标出来的地方就是Sm值较大的地方

表示是两个细胞临近区域

 2.网络架构

这个是网络架构图，左半部分是编码部分，右半部分是解码；编码部分它用的是预激活的resnet50

但是有少许改动，改动在第一个卷积层后，它去掉了原先网络的最大池化层，所以是减少了一次下采样。在之后的每一个残差单元中会有一次下采样；m指feature map的个数所以它的个数增加了八倍。文章里面提到这样做的原因是让重要的信息特征不会很快丢失。三个分支使用的架构也是相同的，包括一系列的上采样操作和密集连接单元，每一次上采样操作后都进行一次有效卷积。作者提到这样子可以使参数最少的同时又能保证接受域很大以及高效的反向传播。共享一个编码器能够让端到端训练分割和分类模型成为可能，多个任务共享信息能够提高所有任务的性能。

3.Loss function:

根据它提出的网络结构，一共有四类权重需要更新，编码器的权重w0,hover branch的权重，NP branch的权重，NC分支的权重。它的损失函数是这样子定义的。

La 和Lb是hover 分支的回归误差 ；

Lc 和Ld 是NP 分支的误差 ； Le 和Lf 是NC 分支的误差 。

La是预测的水平垂直距离图与标准答案的均方根误差，Lb是预测的水平垂直距离的梯度与标准答案的均方根误差。

Lc是Le都是预测结果与标准答案计算的多交叉熵误差cross-entropy；Ld Lf是dice 损失。

X是标准答案，Y是预测结果，K是种类数量（计算lc是设为2，计算le时设为5（包括四类细胞核和背景）），伊普斯龙是平滑参数，设定好的。

4.Evaluation metrics(评价指标):

常用的整体评价指标是dice2和AJI，但是他们有局限性，在图中可以看到预测结果A和B仅仅有几个像素不同

但是B的得分就要比A好很多。这是过度惩罚重叠区域造成的。

因此它分成了子任务的评估：分割和分类

1.（分割）Segmentation:

They propose to use another metric.Panoptic quality:

X代表标准答案的分割，y代表预测的分割结果，为了充分描述和理解每种方法的性能，使用以下三个指标

1.DICE: 衡量从背景中分离出所有的细胞核

2.PQ作为统一的评分，用来比较

3.用来与以前的文章直接比较

2.（分类）Classification:

The Fc score of each type t for combined nuclear type classification and detection as follows:

Alpha0=alpha1=2 ,alpha2=aplha3=1，give more emphasis to nuclear type classification.

他们把细胞核分类也分成两个任务：一个是进行细胞核检测，也就是把细胞核从背景区域中识别出来。一个是细胞核的分类。正确检测到的TPd,错误检测到的FNd,过度检测的FPd。分类任务把TPd分解为正确分类的t类型实例TPc、正确分类的t类型以外的类型（TNc）、错误分类的t类型实例FPc和错误分类的t类型以外的类型实例（FNc）。设置Alpha0=alpha1=2 ,alpha2=aplha3=1，突出核分类的比重。然后把Tpd分成正确分类集合和错误分类集合，就得到了下面的式子

Divided the TPd into a correctly classified set Ac and incorrectly classified set Bc.

Fd is simply the standard detection quality like DQ

The other is the accuracy of nuclear type classification within correctly detected instances.