用于定位任务的指数距离变换图--Exponential Distance Transform Maps for Cell Localization

论文：Exponential Distance Transform Maps for Cell Localization

关键词：医学图像分析、病理图像、目标定位、目标计数、细胞检测、细胞定位、细胞计数、密度图、定位图

Paper Link： Exponential Distance Transform Maps for Cell Localization

Code（有EDT Map的生成方式）： https://github.com/Boli-trainee/MHFAN

太长不看版本：

目标定位任务旨在精确定位图像中每一个目标的具体位置。该任务目前的通用范式可以分为两个阶段：首先根据图像预测定位图，然后对定位图进行后处理得到目标位置信息。定位图是基于密度图演化而来，用于提供目标的精确位置以及良好的梯度信息以供模型学习。本文提出的基于指数优化的EDT map拥有比 密度图、FIDT map 和 IDT map更优的梯度信息，使得模型收敛更快性能更高。

核心思想：全面更新了现有的细胞定位和计数范式，包括提出了比密度图更优的EDT map，配套的后处理策略，以及基于差分卷积的多尺度梯度聚合模块。

摘要

在医学图像分析领域，细胞定位是一个至关重要的任务，涉及在图像中精确预测细胞的位置。当前的定位方法使用基于卷积神经网络（CNN）模型和普通卷积来预测密度图。然后，通过局部最大搜索策略来处理这些密度图，以获得细胞的位置和数量信息。然而，这种方法存在三个主要问题。首先，基于普通卷积的CNN模型难以处理细胞颜色的显著变化。其次，密度图不能提供准确的细胞位置和梯度信息，尤其在密集区域，导致信息丢失。最后，密度图的后处理策略容易受到背景噪声和正负细胞之间的干扰。为了解决这些挑战，我们全面更新了现有的方法，包括三个组成部分。首先，我们提出了一个基于差分卷积的多尺度梯度聚合模块，以有效处理细胞颜色的变化。其次，我们引入了一种新颖的指数距离变换图，可以准确提供细胞位置信息和理想的梯度细节。最后，我们提出了一个后处理策略，称为细胞中心定位策略，利用位置图来显著提高定位性能。在多个数据集上进行的广泛实验表明，我们的方法显著提高了细胞定位的效果，为细胞定位任务设定了新的基准，提高了计算机辅助诊断的效率。

总的来说，本文的贡献总结如下：

• 我们对细胞定位方法进行了全面更新，引入了一种新颖的指数距离变换图，实现了精确的细胞定位，以及一种称为细胞中心定位策略的后处理策略，用于准确检索细胞位置信息。
• 我们提出了一种基于差分卷积的多尺度梯度聚合模块，为应对细胞颜色的剧烈变化提供了一种创新的解决方案。
• 大量实验证明，我们的方法使多种模型能够实现高竞争力的细胞定位性能，为未来的研究提供了新的基准。

Introduction

细胞定位任务旨在准确预测图像中细胞的具体位置和可解释的数量，为医生在其诊断过程中提供有价值的见解。目前，在医学领域存在广泛的应用。在临床设置中，精确的细胞定位和计数极大地改善了不同科室中相同类型细胞的识别和计数，为肿瘤患者的个体化治疗提供了科学可信的理论基础。此外，细胞定位技术有助于获取可解释的细胞计数信息，这对许多任务都大有益处。例如，KI-67指数在阐明乳腺癌的分子分期、评估细胞毒性治疗的给药以及预测预后方面是至关重要的指标。因此，实现准确的细胞定位和可解释的细胞计数具有巨大的临床意义。

近年来，深度学习的显著进展使许多研究人员能够利用卷积神经网络（CNN）来预测细胞的位置和数量。例如，一些研究采用了基于检测或分割的范式来定位单个细胞。然而，这种范式中的边界框和精确的边缘信息的标注既昂贵又耗时，而许多医学场景只需要细胞的位置信息，无需大小细节。因此，细胞定位领域的现有数据集通常只提供点级别的注释。为了充分利用点级别的监督，许多研究人员采用了基于位置图的细胞定位范式，这已经成为该领域中一种普遍的方法。

Existing works for cell localization

目前的细胞定位范式主要基于密度图，如图1(a)所示。首先，将细胞图像输入基于标准卷积的CNN模型，以预测相应的密度图。然后，应用后处理策略以获得位置和计数信息。现有的密度图主要捕获图像中细胞的密度信息。密度图的生成过程可以大致总结如下：首先，在每个细胞的中心放置一个激活函数 $\delta(x-x_{i})$。假设图像中有 $N$ 个细胞，可以表示为
\begin{equation}\label{eq00}
H(x)=\sum_{i=1}^{N} \delta(x-x_{i}) .
\end{equation}
为了获得连续的密度图，研究人员通常使用高斯核 $G_{\sigma}(x)$ 对整个图像进行卷积，其中高斯核的大小可以由局部密度或固定大小决定，表示为
\begin{equation}\label{eq01}
F(x) = H(x) \ast G_{\sigma}(x) .
\end{equation}

为了最终根据密度图获得细胞的位置和数量信息，Huang等人采用了单独预测负细胞和正细胞，并随后使用局部最大搜索策略（Local Maximum Search Strategy，LMSS）处理输出密度图。具体地，LMSS用于识别密度图中的局部最大点，这些点被视为候选点。然后，对这些候选点进行过滤以得到最终的输出。

Challenges

然而，上述的现有定位范式仍存在一些未解决的问题，可以归结为三个要点。

Density maps

生成的密度地图，即公式\ref{eq00}和\ref{eq01}，具有三个明显的缺点。首先，当高斯核较小时，密度地图集中在单个像素周围。结果是模型中的监督信息过少，难以学习有效信息。其次，如果高斯核较大，密度地图上的密集细胞区域难以区分，梯度信息也不明显。这阻碍了模型有效地学习位置信息，如图\ref{fig2}所示。最后，从高斯核中获得的细胞中心的梯度下降速度较慢，使得准确的中心定位困难。这些挑战在不同程度上持续存在，无论高斯核的值如何。

Post-processing strategy

目前的后处理策略容易受到背景噪点的影响，因为它们直接在输出的密度地图上使用了局部最大搜索策略（LMSS）。此外，负细胞和正细胞之间的干扰会影响策略的有效性。例如，在预测较浅颜色的负细胞时，阈值容易受到较深颜色的正细胞的影响，进而导致忽略负细胞。

Large variations in cell color

不同实验室的细胞染色结果会因染色技术、评分方法和评分区域等主观因素而产生显著差异。即使使用完全自动化的染色程序，要完全消除这种差异仍然具有挑战性。因此，细胞颜色的显著差异对所有与细胞相关的任务都构成了重要困难。如图 \ref{fig3} 所示，使用传统的普通卷积生成的EDT图明显忽视了颜色较浅的细胞。值得注意的是，Huang等人巧妙地通过分开预测正（深色）和负（浅色）细胞来解决这一挑战。但是，这种方法增加了数据集标记的复杂性，并限制了模型在实际情景中的适用性。另一方面，普通卷积往往会忽视颜色较浅的细胞，导致EDT图不合理，并且定位和计数性能大幅下降。

Our Method

为了解决上述挑战，我们提出了对细胞定位范式的全面改进。改进后的范式，如图 \ref{fig1}(b) 所示，包括三个关键组件：一种新颖的指数距离变换（EDT）图、用于准确细胞定位检索的增强后处理策略以及基于差异卷积的CNN模型。首先，EDT图通过利用点监督为每个细胞提供精确的位置信息和出色的梯度细节。随后，我们引入了细胞中心定位策略（CCLS），有助于同时预测负细胞和正细胞，有效减轻背景噪音干扰。此外，为了减轻细胞颜色显著变化所带来的挑战，我们提出了一种基于差异卷积的多尺度梯度聚合模块。这个模块生成了一个更加合理的EDT图。我们广泛的实验评估表明，我们的方法在细胞定位性能方面取得了显著的改进，从而为细胞定位任务建立了新的性能基线。

总结一下，本文的主要贡献如下：

$\bullet$ 我们引入了一个全面的细胞定位范式更新，包括一种新颖的指数距离变换图，可以实现精确的细胞定位，以及一种名为细胞中心定位策略的后处理策略，用于准确检索细胞位置信息。

$\bullet$ 我们提出了一种基于差异卷积的多尺度梯度聚合模块，为应对细胞颜色显著变化所带来的挑战提供了一种新颖的解决方案。

$\bullet$ 广泛的实验表明，我们的方法使多个模型能够实现高度竞争力的细胞定位性能，为未来的研究提供了新的基准。

Method

论文的方法概述如图 \ref{fig1}b 所示。在训练阶段，一个 CNN 模型建立了细胞图像与相应位置图之间的映射关系。随后，在测试阶段，处理位置图以获取细胞的精确位置和数量。细胞的定位和计数性能主要由三个主要组成部分决定：CNN 模型，位置图的质量以及后处理策略。鉴于 CNN 模型的评估取决于位置图，我们依次介绍了本研究中提出的指数距离变换 (EDT) 图，随后是后处理步骤中应用的细胞中心定位策略 (CCLS)，最后介绍了基于多尺度梯度聚合 (MGA) 模块的 CNN 模型。

Exponential Distance Transform map

在之前的人群定位任务研究的基础上，本研究提出了指数距离变换 (EDT) 图作为一种新的方法，包括两个关键阶段：反距离变换 (IDT) 图和可调节的尺度指数优化策略。

为了解决在密度图中区分密集区域的挑战，Olmschenk等人提出了IDT图，通过距离倒数确保每个区域中的目标之间相互独立。然而，IDT图在目标前景特征的像素值迅速下降，并在背景区域缓慢下降。作为回应，Liang等人提出了FIDT图，使用距离函数的一个主要项作为指数的指数，使前景中的下降缓慢并在背景中快速下降。然而，主要项与距离之间的线性关系导致背景中的下降缓慢，并产生非零响应。为了克服这个局限性，我们提出了基于自适应缩放指数优化策略的EDT图。与IDT和FIDT图相比，我们的EDT图展示了一个更合理的像素分布，在目标前景区域中下降较慢，并在背景区域中迅速下降到零。

Multi-scale Gradient Aggregation module

在前一小节中，EDT图上的候选点在背景噪声和浅色细胞之间显示出很少的区别。为了解决这个问题，减轻细胞定位和计数任务中显着颜色变化的影响，我们提出了一种基于差分卷积的新型多尺度梯度聚合（MGA）模块。MGA模块旨在增强EDT图上浅色细胞的响应。为了提供上下文，我们首先介绍差分卷积的原理，然后介绍我们的MGA模块。

Experiments and Analysis

在细胞定位和计数领域，广泛使用的公开数据集包括BCData、Seg\_data、PSU和UW，如表\ref{tab1}所总结。我们提供了每个数据集的简要描述以及实验细节。

定位效果可视化：

消融实验：主要是对EDT map生成过程中的超参数进行消融

Conclusion and Outlook

细胞定位在医学图像分析领域起着至关重要的作用。本文在细胞定位领域取得了重大突破，引入了几项关键创新。首先，我们提出了一种指数距离变换图，可以准确确定细胞的位置，同时保持合理的梯度。此外，我们开发了相应的细胞中心定位策略，提供了有关细胞最终位置和数量的精确信息。此外，我们引入了一种基于差分卷积的新型多尺度梯度聚合模块，增强了模型处理颜色变化的能力。广泛的实验评估显示，我们的方法在细胞定位和计数任务中取得了显著的性能提升，建立了该领域的新基准。

我们未来的研究将集中在以EDT图为基础进一步推进细胞定位任务。我们的观察表明，在EDT图中的细胞的地面真实表示在所有方向上呈一致分布，以细胞中心为中心点。基于这一发现，我们建议将细胞定位任务重新构建为特征对齐问题。具体而言，我们的目标是将病理图像中观察到的复杂和多样化的细胞分布与均匀分布的山脊进行对齐。这一战略方法允许我们充分利用特征对齐的概念，从而有效地解决其中固有的挑战。因此，我们未来的研究将重点研究这种特征对齐方法。