CellViT:基于视觉Transformer的精确细胞分割与分类方法

CellViT:基于视觉Transformer的精确细胞分割与分类方法

CellViT是由德国埃森大学医院人工智能医学研究所(IKIM)开发的一种新型深度学习方法,用于对数字化组织样本中的细胞核进行自动化实例分割。这项研究成果发表在Medical Image Analysis期刊上,论文题为《CellViT: Vision Transformers for precise cell segmentation and classification》。

研究背景与意义

在血细胞和嗜酸性组织(H&E)染色的组织图像中进行细胞核检测和分割是一项重要的临床任务,对于许多应用来说都至关重要。然而,由于细胞核在染色和大小上的变异性,以及细胞核边界重叠和聚集等因素,这项任务仍然具有挑战性。虽然卷积神经网络已被广泛应用于该任务,但研究人员开始探索基于Transformer的网络在这一领域的潜力。

CellViT方法简介

CellViT是一种基于视觉Transformer的深度学习架构,用于对数字化组织样本中的细胞核进行自动化实例分割。该方法在PanNuke数据集上进行了训练和评估,这是一个具有挑战性的细胞核实例分割数据集,包含了19种组织类型中近20万个带注释的细胞核,分为5个临床重要类别。

CellViT的主要特点包括:

1. 视觉Transformer编码器:项目采用了预训练的视觉Transformer(ViT)编码器,这种编码器在各种计算机视觉任务中都表现出色。这一选择提高了CellViT的分割性能。

2. U-Net架构:CellViT采用了U-Net形状的编码器-解码器网络结构,可以高效准确地进行细胞核实例分割。该网络架构有助于提取高层和低层特征,从而改善分割结