Nature | 深度学习解锁细胞显微图像

今天为大家介绍的是来自Michael Eisenstein的一篇报道。深度学习正推动算法的发展，使其能够理解来自各种显微镜技术的图像。

大约14年前，计算生物学家Jan Funke在霍华德·休斯医学研究所的贾内利亚研究中心尝试编写算法来从图片中识别神经元，他最初以为这不太难，但结果大大出乎他的预料。计算科学家Anna Kreshuk指出，人类很早就学会了如何“分割”视觉信息，即使在物体相互堆叠或重叠的情况下也能区分出单独的物体。但是，我们的大脑经过数百万年的进化才掌握了这项技能，而算法必须从基本原理开始学习。

在生命科学研究中，随着生物成像实验的规模和复杂性的增长，对于能够最小化人为干预来分割细胞和亚细胞特征的计算工具的需求也在增长。加州理工学院的系统生物学家David Van Valen指出，分析数据集所需的时间往往比收集数据还要长。直到最近，他的同事们可能在一个月内收集一组数据，然后花接下来的六个月的时间来修正现有分割算法的错误。好消息是，随着计算生物学家开始利用被称为深度学习的算法架构，形势正在发生转变，新算法的能力大大加快了处理过程。Kreshuk认为，现在的分割问题在可预见的未来将得到解决。但该领域还必须找到方法，以适应不断进化的尖端成像技术。

算法的前进历程

在计算机辅助的图像分割技术的早期阶段，生物学家需要大量手动干预。研究人员针对每个实验都必须仔细定制他们的算法，以便识别特定样本中细胞之间的边界。像由麻省理工学院和哈佛大学的布罗德研究所的成像科学家Anne Carpenter和计算机科学家Thouis Jones开发的CellProfiler，以及由Kreshuk及其同事开发的ilastik等图像分析工具，通过机器学习简化了这一过程。用户通过示例教育软件，标记演示图像并为软件创建参考先例。然而，这种策略在泛化方面是有限的，因为每个训练过程都是针对特定实验优化的，例如检测标记有特定荧光染料的小鼠肝细胞。

深度学习在图像分析领域产生了巨大的变革。深度学习算法使用神经网络架构，这些架构大致模仿大脑的组织结构，并能在经过大量信息训练后推断复杂的模式。当应用于图像数据时，这些算法能够为代表细胞和其他生物对象的特征提供更稳定、一致的定义，不仅适用于特定的一组图像，还适用于多种情境。由德国弗莱堡大学的计算机科学家Olaf Ronneberger及其同事在2015年开发的一个名为U-Net的深度学习框架，特别具有变革性。事实上，近十年后，它仍是大多数分割工具背后的基础架构。

最初成像识别领域的工作都集中在识别细胞核上。这些细胞核通常是大而椭圆形的，跨细胞类型的外观变化不大，几乎每个哺乳动物细胞都含有一个细胞核。然而，瑞士洛桑联邦理工学院的生物成像专家Martin Weigert表示，在细胞密集的组织样本中，细胞核识别仍然可能构成挑战。“你可能会遇到非常紧密排列的细胞核。你不希望一个分割方法仅仅将其视为一个巨大的斑点。”他说。2019年，由匈牙利塞格德生物研究中心的成像专家Peter Horvath领导的团队使用U-Net开发了一个名为nucleAIzer的算法。在前一年举行的针对光学显微镜下核分割的“数据科学碗”挑战赛中，该算法的表现超过了数百种其他工具。即使软件能够找到细胞核，推断出细胞其余部分的形状仍然是一个难题。其他算法则采用更全面的策略。例如，由Weigert及其合作者Uwe Schmidt开发的StarDist，生成星形多边形，既可以用来分割细胞核，同时也能推断出周围细胞质更复杂的形状。

CellPose采用了一种更通用的方法。这个软件由贾内利亚的计算神经科学家Marius Pachitariu和联合首席研究员Carsen Stringer于2020年开发，它推导出描述光学显微镜常用的分子标签在细胞内扩散的“流场”。“我们提出了一种细胞的表示方法，基本上是通过这些向量动力学描述的，这些流场可以将所有像素推向细胞中心，”Pachitariu说。这使得CellPose能够高精度地、更重要的是，广泛适用于不同光学显微镜方法和样本类型，自信地将给定图像中的每个像素分配给一个细胞。“CellPose的一个神奇之处是……即使是接触的细胞，它也能很好地将它们分开，”布罗德研究所的生物成像专家、目前负责CellProfiler项目的Beth Cimini说。

训练方式

深度学习在图像分割方面的稳步提升不仅仅源于算法设计的进步——大多数方法仍然基于相同的U-Net基础。相反，成功的关键因素在于训练。“更好的数据，更好的标签——这就是秘诀，”开发了流行的分割工具DeepCell的Van Valen说。标注工作包括收集显微镜图像，勾画出核、膜和其他感兴趣的结构，并将这些注释输入软件，以便学习定义这些元素的特征。对于CellPose，作者花了半年时间收集和整理尽可能多的显微镜图像，以建立一个大型且广泛代表性的训练数据集，包括非细胞图像，以提供清晰的反例。

然而，建立大量的手动标注训练集很快就会变得难以为继，深度学习专家正在开发策略，以更聪明而非更辛苦地工作。多样性是一个优先事项。拥有很多不同东西的一些比拥有大量相同的更好。例如，具有各种染色和标记方法的大脑、肌肉和肝脏组织的图像集合比只有一种组织类型的图像更有可能产生可推广到不同实验的结果。研究人员还看到了包括不完美图片之处的价值——例如，模糊的图像——这教会算法克服实际数据中的这类问题。

另一种日益流行的策略是让算法进行大量注释，然后让人类来进行事实检查。Van Valen和他的同事采用了这种“人在训练循环中”的方法来开发包含超过一百万个已注释细胞核对的TissueNet图像数据集。他们让一个由新手和专家组成的众包社区来纠正一个仅在80个手动注释图像上训练的深度学习模型的预测。Van Valen的团队随后开发了一个名为Mesmer的分割算法，并证明在使用TissueNet数据训练后，这可以媲美人类分割性能。Pachitariu和Stringer同样使用了这种“人在循环中”的方法，重新训练CellPose以在特定数据集上实现更好的性能，使用的样本少至100个细胞。“在一个新的数据集上，我们认为用户可能在一个小时左右的时间内在循环中训练他们的模型，”Pachitariu说。

即使如此，为新任务重新训练模型也可能是一项繁琐的工作。为了简化这一过程，Kreshuk和意大利米兰人类科技城基金会的计算生物学家Florian Jug创建了BioImage Model Zoo，这是一个预训练深度学习模型的社区仓库。用户可以在其中找到一个现成的、用于图像分割的模型，而不必苦苦训练自己的模型。“我们正努力让这个模型库真正适用于不太擅长深度学习的生物学家，”Kreshuk说。实际上，许多湿实验室科学家对深度学习算法的复杂性不熟悉，这是部署的一大障碍，Cimini说。但有许多方法可以提高易用性。例如，她认为CellPose之所以成功，得益于其直观的图形用户界面以及其分割能力。“努力使东西变得非常友好、易于接近且不令人害怕，这是吸引大多数生物学家的方法，”她说。包括CellPose、StarDist和nucleAIzer在内的许多算法，也可作为流行的图像分析工具，包括ImageJ/Fiji、napari和CellProfiler的插件。

突破突破再突破

几年前，Cimini从未想到会有这样迅速的进展。“至少对于细胞核——可能甚至对于细胞本身——我们实际上正在接近这个问题在未来几年内将被解决的阶段。”研究人员在更具挑战性的图像类型上也取得了进展。例如，许多空间转录组学研究涉及多轮组织标记和成像，每个标记或标记集合揭示特定基因的RNA转录本。然后，这些转录本与细胞本身的图像一起重建，以获得具有细胞分辨率的组织范围内的基因表达谱。但自动化识别和解释基因表达“斑点”是困难的。“当你实际打开这些原始图像时，你会看到有太多的斑点，人类永远不可能手动标记，”Van Valen说。这反过来又使训练变得困难。Van Valen的团队开发了一个深度学习网络，可以在经典计算机视觉算法的帮助下自信地辨别这些斑点。然后，研究人员将这个网络整合到一个名为Polaris的更大管道中，这是一个可推广的解决方案，可用于分析广泛的空间转录组学实验。

相比之下，光学显微镜下3D体积的分析仍然非常困难。Weigert表示，公开可用的3D成像数据严重不足，而且使这些数据对算法训练有用是一项繁琐的工作。“标注3D数据是如此痛苦——这是让人流泪的地方，”Weigert说。Pachitariu指出，数据质量和格式的变化性比2D显微镜更为极端，这需要更大、更复杂的训练数据集。然而，在通过“体积电子显微镜”方法生成的3D数据的分割方面，取得了显著的进展。但解释电子显微照片带来了新的挑战。“与光学显微镜需要学习什么是信号、什么是背景不同，电子显微镜需要学会区分什么让你的信号与所有其他类型的信号不同，”Kreshuk说。体积电子显微镜加剧了这一挑战，需要重建一系列薄样本切片，这些切片以惊人的细节和分辨率记录了细胞及其环境。这些能力在连接组学研究中尤其重要，这些研究旨在生成大脑神经元的“连线图”,准确性的要求特别高。“如果我们平均每微米神经纤维或每个轴突长度出现一个错误，那么整个项目就毫无用处，”Funke说。“这是你可能遇到的最难的问题之一。”大量的数据量也意味着算法需要高效以在合理的时间框架内完成重建。就像光学显微镜一样，U-Net带来了重大成果。在六月份发布的一篇预印本中，FlyWire联盟——Funke是成员之一——描述了应用基于U-Net的算法来重建成年苍蝇大脑的连线，这包括大约130,000个神经元。对826个随机选择的神经元的评估发现，与人类评估者相比，该算法的准确率达到了99.2%。Funke说，用于连接组学的分割算法现在基本成熟——尽管在整个大脑范围内核查这些电路图仍然是一项艰巨的任务。“我们现在担心的部分是，我们如何进行校对？”

独特的解决方案

当前算法在成像平台间的广泛应用方面仍存在挑战。例如，一个在使用常见于组织学的血红蛋白和伊洛素染色的样本上训练的算法可能在共聚焦显微镜图像上表现不佳。同样，为电子显微镜分割设计的方法通常与光学显微镜数据不兼容。“对于每种技术，它们在显著不同的尺度上捕捉生物标本，并由于不同的染色、不同的处理协议而强调不同的特征，”加拿大多伦多大学的人工智能专家Bo Wang说。“所以，当你考虑设计或训练一个在这些方法的全部范围内都有效的深度学习模型时，这意味着真正同时在不同任务上表现出色。” Wang对能够真正泛化跨成像数据格式的“基础模型”持乐观态度，并帮助协调了去年NeurIPS上的一个数据挑战，让各个团队测试他们在开发解决方案方面的实力。

除了更大、更广泛的训练集之外，这些模型肯定需要超越U-Net范围的计算架构。Wang对transformers这种算法工具感到兴奋，它使深度学习更容易识别数据中微妙但重要的模式。transformers是大型语言模型ChatGPT和蛋白质结构预测算法AlphaFold的核心组件，而2022年NeurIPS挑战赛的获胜算法利用transformers取得了决定性的优势。许多团队目前正在开发基础模型；例如，Van Valen及其团队最近发布了描述他们CellSAM算法的预印本。与此同时，许多研究人员正在转向他们开发的工具的更有趣的应用。例如，Funke正在使用基于分割来对神经元的功能特征进行分类，基于它们的形态——例如，在连接组图中辨别抑制性与兴奋性细胞的特征。

Horvath的团队还合作开发了一种名为深度视觉蛋白质组学的方法，该方法利用深度学习算法获得的结构和功能见解来勾勒组织样本中的特定细胞，然后可以精确地挑选出来并进行深入的转录组和蛋白质组分析。这可能为剖析癌症的分子病理学和识别适当的治疗方法提供了一个强大的工具。这些前景也让Kreshuk感到兴奋。“我希望在不久的将来，我们能够让形态空间真正量化，”她说，“并将其与组学空间一起分析，看看我们如何能够混合和匹配这些东西。”

参考资料

Michael Eisenstein. TEASING IMAGES APART, CELL BY CELL. Nature (2023). 

Web: https://media.nature.com/original/magazine-assets/d41586-023-03722-y/d41586-023-03722-y.pdf