Learning to segment clustered amoeboid cells from brightfield microscopy via multi-task learning

Learning to segment clustered amoeboid cells from brightfield microscopy via multi-task learning with adaptive weight selection

论文地址传送：https://arxiv.org/abs/2005.09372

论文引入了一种新的监督学习方法，用于多任务细胞分割学习。采用了基于细胞区域和小区边界检测的多任务损失的组合，以提高网络的预测效率。能够自适应估计超参数。细胞区域和细胞边界预测通过形态学操作和主动轮廓模型结合来分割单个细胞。该方法特别适合于在没有人工干预的情况下从亮场显微镜图像中分割触摸细胞。

1.问题引出
该论文是为了对细胞亮场图片进行分割，图片中有多个细胞，需要分割包含细胞的区域，并且将不同细胞区分开。

第一列显示了两个具有代表性的细胞亮场图像。第二列显示了使用论文的方法的分割结果，并且封闭的区域被放大在最后一列中。

2.方法

网络架构如上图所示，由两个子网络组成，即将对细胞前景区域和细胞边界分别提供像素级预测的区域和边缘子网络。每个子网络都使用U型的结构。每个子网络由四个向下采样和四个具有跳过连接的上采样块组成。子网络通过多个层次的网络权重共享进行耦合。在网络中的每个卷积块后，应用RELU激活。Sigmoid激活函数应用到最后一层，以映射0到1之间的图像输出。

该区域子网络(Region sub-network)被设计用来预测细胞的前景定位。边缘子网络(Edge sub-network)被训练来预测单个细胞的边缘函数，这对于识别接触物体之间的边界至关重要。将高斯滤波器平滑的区域掩模的梯度用于边缘子网络的监督。将区域子网络的前两个下采样和最后两个上采样块的特征映射连接起来并输入到边缘子网络。这确保了对整体架构的统一培训和子网络之间的上下文信息共享。两个子网络的Dice loss的加权组合用于训练网络。

为了获得损失的最优组合，论文使用下面描述的框架来估计损失权重。
将定义在域Ω⊂R上定义的图像表示为函数f:Ω-R。子网络预测的区域和边缘函数由fr(x,y)=Rθ1[f(x,y)]和fe(x,y)=Hθ2[f(x,y)]表示。这里，Rθ1和Hθ2分别是区域和边缘子网络的函数近似（参数θ1和θ2），两个预测输出被归一化为[0,1]。由于神经网络体系结构的参数共享，θ1∩θ2=∅。多任务网络优化的能量函数被写为：

其中，α和β是非负数参数。一个典型的做法是给它们分配相等的值或任意选择它们。然而，启发式参数选择策略可能会导致相关损失函数贡献的不平衡，导致训练模型偏向于特定任务。论文提出了一个自动估计的任务权重，这被限制为α2+β2=1。使用此约束，网络惩罚函数E可以定义为损失的非线性组合，如下：

这里是α=λ和β=√1−λ2。损失函数E1和E2被定义为：

这里，g(f)表示图像f的地面真值注释，|∇g(f)|表示其高斯平滑梯度大小。函数D是正则化可微Dice loss，计算如下：

这里的y和yˆ是两个n个长度的向量，它们通常分别对应于数据标签和网络的预测。多任务网络的综合损失是通过非线性加权计算的损失。式子2显示，在λ中是凹的。这将直接通过计算偏导数为：

在等式7中的二阶导数是负的，因为E2∈[0,1]。损失项的非线性凹组合导致了一个最小最大优化问题，定义为：

直观地说，这个公式确实可以被解释为一个优化问题，试图最小化系统最坏情况下的性能。该策略的一个好处是，可以自适应地获得两种不同任务之间的相对权值。通过以下迭代方案，可自动得到系统参数和权重项λ。首先，我们通过设置等式来计算使总损失E最大化的权重项6到零，它将生成以下表达式：

然后利用随机梯度下降法更新网络参数

分割单个细胞

当细胞很接近时，来自多细胞网的区域预测可能并不总是能够检测到细胞的分离。同样地，当细胞和背景对比度较低时，细胞的边界也会被错误地预测。因此，适当地结合区域和边界预测是更平滑和准确的分割的必要条件。通过适当地结合细胞区域和嵌入在主动轮廓模型中的边界预测，得到了最终的细胞分离和光滑轮廓。Coupled active contours 是专门防止相邻参数曲线的合并，被应用于获得单个单元的平滑边界。

分割的方法如下：

1. 如果使用变分层次聚类方案估计初始单元定位，自动轮廓初始化。这确保了检测到分离良好的细胞区域。
2. 初始化的曲线随后随函数fs=fr(x,y) *(1−fe(x,y)) 向外演化。函数鼓励了具有高区域预测分数和低边缘预测值的像素的曲线运动。
3. 函数利用边缘预测，补偿了区域预测中的假阳性和假负，反之亦然。
4. 为了防止由于边缘预测不一致而导致的轮廓泄漏，该模型使用开源生物图像分析工具包Icy中的Coupled active contours来实现。
5. 当函数限制曲线的进一步传播，或不相交曲线相遇时，实现收敛。

分割过程的步骤如图所示。

3.方法结果


总结
论文提出了一种新的细胞分割方法，利用深度神经网络在多任务学习框架的有效性。通过损失函数的自适应组合，实现了多任务学习网络的最优性能。利用主动轮廓模型的动态聚类区域检测曲线初始化方案，实现了具有平滑边界的最终分割。