基于全景切片图像的癌症生存预测：多视角分析驱动的层次图Transformer

Multi-scope Analysis Driven Hierarchical Graph Transformer for Whole Slide Image Based Cancer Survival Prediction

摘要

癌症生存预测不仅需要考虑肿瘤的生物形态，还需要考虑肿瘤与周围组织的上下文交互。以往基于全景切片图像（WSI）进行生存预测的学习框架的主要局限在于对病理成分（如肿瘤、基质、淋巴细胞等）之间的上下文交互缺乏足够的表示和量化。为了解决这一问题提出了一种多视角分析驱动的层次图Transformer（Hierarchical Graph Transformer，HGT）。

方法

1. 多视角分析策略：利用切片内的超像素分析和跨切片的聚类分析，挖掘WSIs的空间和语义先验。
2. 层次图卷积网络：基于提取的空间先验，提出了一个层次图卷积网络，逐步学习从补丁级到组织级的不同微环境的拓扑特征。
3. Transformer预测头：在语义先验的指导下，将组织级特征进一步聚合，表示有意义的病理成分，通过设计的基于Transformer的预测头来建立和量化这些成分的上下文交互。
   代码地址

方法

图 1 展示了提出的多视角分析驱动的层次图Transformer (HGT) 的概述。注意，为了视觉清晰度，图中未显示所有节点和相邻关系。
SLIC：简单的线性聚类

实验结果