Whole-cell segmentation of tissue images with human-level performance using large-scale data annotat

作者：Noah F.Greenwald

期刊：nature biotechnology

2022

公开了数据集TissueNet:

DeepCell Datasets

公开了代码

publication-figures/2021-Greenwald_Miller_et_al-Mesmer at master · vanvalenlab/publication-figures · GitHub

• 贡献：

• 1.构建了一个数据集TissueNet，用于训练分割模型，包含超过100万个手动标记的细胞，比先前发布的分割训练数据集多出一个数量级。
• 2.提出Mesmer，实现了人类水平的性能。Mesmer实现了关键细胞特征的自动提取，如蛋白质信号的亚细胞定位。
• 3.然后，调整Mesmer以高度复用数据集中的细胞谱系信息，并使用此增强版本来量化人类妊娠期间的细胞形态变化。

构建TissueNet数据集三步方法：

1. 专家在80张图像中勾勒出每一个细胞的边界，这些标注的图像用来训练一个初级模型。
2. 图像首先通过模型生成标注然后送到                             去纠正错误。这些纠正的标注在进入训练集之前再由专家进行最后的检查。当全部新的数据完成标注后，一个新的模型被训练完成。每一次迭代增加新的训练数据，这导致改善的模型更准确，错误更少，错误需要人工纠正，更低的标注耗费。这种良性循环持续直到模型达到人类水平的表现。
3. 模型在没有人工辅助的情况下完成高质量预测。

这一流程中需要专门的软件。虽然以前有人用这种流程创建分割数据，但现有的工具不适合crowdsouced correction，因此，他们开发了deepcell label，这是一个基于浏览器的GUI，可以优化编辑组织图像中现有的细胞注释。

TissueNet包括六种图像平台、九种组织（正常的疾病的）、三种物种（人、老鼠、猴）

Mesmer：用于准确细胞分割的深度学习算法

模型有四个预测头，两个用于细胞核分割，两个用于whole-cell 分割。

模型的输入是每个细胞细胞核的图像(如DAPI)和定义每个细胞形状的膜或细胞质图像(如CD45或E-cadherin)，正则化，平铺成固定大小的块输入给模型。模型进行解算，生成图像中每个细胞核和细胞的之心和边界的预测。质心和边界预测用作分水岭算法的输入，以创建图像中每个细胞核和每个细胞的最终实例分割mask。

评估：

为了评估Mesmer的准确性，作者对之前发布的预训练算法以及在TissueNet上重新训练的深度学习模型进行了全面的基准测试。

FeatureNet：作者之前使用它进行核分割，然后扩展来分析一组乳腺癌样本

Cellpose：一种最近发表的用于显微镜数据全细胞分割的算法。

总体：Mesmer(F1=0.82)的准确性高于Feature(F1=0.63)和cellpose(F1=0.41)

Mesmer仅比FeatureNet慢13%，比Cellpose快20倍

可视化Mesmer与FeatureNet和Cellpose的已发布预训练版本之间的性能差异，使用了三种算法来分割结直肠癌图像，

总体而言：Mesmer更有效地捕捉了图像中每个细胞的真实大小，FeatureNet很难捕捉到每个细胞的真实大小，因为该模型通过执行核分割以及扩展来近似细胞形状。Cellpose未能识别图像中的大部分细胞，可能是因为用于训练cellpose的数据中组织图像相对稀缺。

依赖于核分割和扩展的方法往往高估了大多数小细胞的大小，而低估了大多数大细胞的大小（扩展数据图2g）。综上所述，该基准测试表明，Mesmer比以前的分割方法有了重大进步。

鉴于细胞形态和图像特征可以根据器官部位、疾病状态和成像平台而变化，与在所有TissueNET上训练的模型相比，基于来自单个平台或单个组织类型的数据训练出的专家模型可以获得优异的性能。为了评估Mesmer的可推广性，作者对使用组织或平台特定的TissueNet子集训练的模型进行了性能基准测试。观察到Mesmer和专家模型之间的性能比较：

不同人注释不同，作者还比较了Mesmer的分割预测与五个独立的人工注释，利用其中一个注视者的标注作为真值，其他的作为预测。发现人对人以及人对Mesmer的F1评分之间没有显著差异（P=0.93），表明Mesmer的表现与人工注释不相上下。

为了进一步评估Mesmer相对于人工的表现，招募四位病理学家，对人工注释和Mesmer进行盲法评估。每位病理学家都被显示成对的图像，包括人工注释和模型预测。

综合评估中，两种图像获得了同等评级。

按照组织类型评估，只有小部分差异：模型在某些组织中的表现略好与人工，而某些组织中人工表现略好。

综上所示，Mesmer的性能与人类水平的性能相当，Cellpose和stardist也可能会获得类似的结果。

除此之外评估了模糊、调整大小或添加图像噪声后的模型精度。尽管Mesmer对中度图像失真具有鲁棒性，但随着失真幅度的增加，性能会受到影响（扩展数据图3j–l）

Mesmer：能够对组织成像数据进行精确的下游分析

细胞分割时定量分析的第一步，是后续单细胞分析的基础。

Mesmer生成全细胞和细胞核分割预测的能力应该能够实现以前分割算法难以执行的分析。

其中一个例子是预测细胞中的蛋白质的亚细胞定位，可用于量化转录因子的核易位或HER2的膜染色程度，以评估乳腺癌。

利用一组表型标记物对乳腺癌样品进行染色，并利用MIBI-TOF对其进行成像。创建了一个集成的多路图像分析流水线，将Mesmer的分割预测与下游分析联系起来。

预测以及真值mask提取每个标记的特异性表达，发现预测与真值一致。

Msemer提供了细胞核和细胞之间的关系，故可进一步得到两者之间的比率，而病理学家也广泛使用该比率来评估恶性肿瘤。使用mesmer为测试集中的每个细胞生成细胞核和全细胞分割。然后，计算核与全细胞的比值（该比值在概念上与核与细胞质的比值相似，但对于细胞质较少的细胞具有更高的数值稳定性）。TissueNet中所有细胞的预测与实际的N/C比率存在强相关性。

该分析识别到了N/C比为零的细胞亚群（图4e），表明该细胞中未观察到细胞核。当用于获取数据的成像平面捕获细胞质而不是细胞核时，这些细胞就会出现。我们量化了组织网中具有平面外细胞核的细胞在组织类型中的比例，用于预测和地面真实分割标记，并发现平面外细胞核预测率和真实率之间的良好一致性（图4f）。胃肠道组织中平面外细胞核的比例最高（图4f），可能是由于柱状上皮的伸长性质。具有平面外细胞核的细胞被基于细胞核的分割方法遗漏，但被Mesmer捕获。

细胞分类是分割后的一项常见任务。分割中的不准确可能导致图像中存在的细胞的识别和计数中的严重偏差。为了衡量Mesmer的预测如何影响这一过程，作者分析了一组使用Vectra平台生成的乳腺癌样本。每个图像都用一组谱系定义标记物染色（图4g），我们使用这些标记物将每个细胞分类为T细胞、单核细胞、肿瘤细胞或非肿瘤细胞。从三名患者中选择了两个不同的区域，并为图像中的所有细胞生成了预测和地面真实分割。我们使用相同的方法将预测（图4h）和地面实况（图4i）分割的所有细胞分类为这些类别。然后，我们计算了患者每种细胞类型的准确度和召回率。我们观察到两种注释之间的强烈一致性（图4j），表明Mesmer的分割预测能够准确分类这些图像中存在的细胞多样性。

血统感知分割量化形态学变化

已经证明，在TissueNet上训练的模型可以利用该数据中存在的两个通道来准确地分割不同组织类型的细胞。但一些组织类型有复杂的形态，这仅用两个通道的图像数据不能准确捕捉特征，

关于每个细胞的位置和形状的信息可以包括细胞类型特定的额外标记来获得。这些额外的标记在模型训练期间提供了有关细胞形态的关键信息，当他们合并成单个通道时，这些信息会丢失。

作者修改了深度学习架构，以接受这六个输入数据通道，并使用该数据及训练模型。

作者接下来使用这种谱系感知的分割方法来量化蜕膜细胞随时间的形态学变化。

首先定义了一系列形态学指标，以捕捉该数据集中细胞形状的多样性（图5c；方法）。人工检查每个类别中细胞的准确分配（图5d）。

然后，我们设计了一个自动流水线，为图像中的每个细胞计算这些定量指标。

将流水线应用于该数据集，发现这些度量捕获了我们观察到的细胞形状的关键形态学特征（图5e）。然后，我们对细胞形态轮廓进行k-均值聚类（方法），并确定了四个不同的聚类（图5f，g）。

基于这些理论，为了确定人类蜕膜中这些细胞形态随时间的变化，作者根据年龄将样本分为两组：孕早期（6-8周）和孕晚期（16-18周）。通过细胞簇给每个细胞着色突出了两个胎龄组之间细胞形态的差异（图5h，i）。在早期观察到大量簇1细胞（拉长），在晚期观察到大量的簇2细胞（大型和球状）（图5j）。这种转变可能反映了蜕膜化过程中母体基质细胞所经历的形态学转变。

总之，分析表明，全细胞分割可以使细胞形态学成为一种定量观察，从而将病理学家的历史知识与现代多重成像方法联系起来。