Nature：快速、无标记检测胶质瘤浸润的基础模型

2024年11月13日，《Nature》上发表了来自密歇根大学神经外科机器学习实验室等研究机构的一项研究，推出了用于快速、无标记地检测手术期间弥漫性胶质瘤浸润的开源医学基础模型——FastGlioma。作为一种通用的手术辅助工具，FastGlioma能够在组织活检的几秒钟内为医生提供实时、准确且临床可操作的诊断信息，从而改善脑肿瘤患者的手术护理，提高患者的生活质量和总体生存率。

图1.FastGlioma workflow

Visual foundation model training

FastGlioma的工作流程如图1所示。在脑肿瘤手术切除期间，医生会在切除腔的手术边缘采集新鲜组织标本，以检测显微镜下的肿瘤浸润。然后，使用刺激拉曼组织学（SRH）对标本进行成像，这是一种快速、无标记、亚微米分辨率的光学成像方法。与其他术中成像技术相比，SRH的一个主要优点是图像对比度由标本的内在生化特性产生，而不依赖于染色、染料或标签。SRH图像可以在全分辨率模式下（约100秒）或快速模式下（约10秒，分辨率较低）获得，具体取决于临床医生的需求和临床环境。全幻灯片图像的范围为1 mm²至10 mm²，并被划分为多个不重叠的小视图或补丁，用于输入模型。FastGlioma基础模型的训练数据集来自13个医疗中心，包含来自3000多名患者的成像数据，涵盖中枢神经系统肿瘤和多种人类癌症的诊断谱。

作者提出了一种两阶段自监督学习方法，专门用于在全载玻片显微镜图像上训练视觉变换器（Vision Transformer，ViT）架构。首先，通过分层自监督学习训练补丁标记器以提取补丁特征，然后通过随机分割、裁剪和屏蔽补丁标记，生成同一幻灯片图像的两个视图，从而学习整张幻灯片图像的特征。接着，两个视图都会通过Vision Transformer进行前馈传递，将补丁作为输入令牌，并最小化整个幻灯片的自监督目标。高质量的补丁级和幻灯片级自监督训练在成像速度/分辨率与模型性能之间实现了最小的权衡。使用快速SRH模式时，平均分类精度为88.0±2.1%，而在全分辨率SRH模式下，精度为90.2±3.0%。所提出的视觉基础模型训练策略使临床医生能够在不牺牲模型性能的情况下，无缝地分析整个肿瘤切除过程中的多个标本。

Fine-tuning for infiltration scoring

为了使SRH基础模型更好地适应肿瘤浸润检测与评分，作者开发了一种数据高效的有序表征学习方法，称为有序度量学习。该方法通过使用现有的、先前注释的SRH肿瘤浸润数据进行训练。病理学家根据肿瘤浸润程度对每张SRH图像进行四个等级的排序：(0) 脑组织正常/无肿瘤；(1) 非典型细胞/可能为肿瘤但不确定；(2) 稀疏肿瘤浸润；(3) 致密肿瘤浸润。有序度量学习通过最大化具有不同肿瘤浸润程度的整片SRH图像之间的潜在距离或度量来微调SRH基础模型，从而提高模型的性能。这一过程通过强制模型对训练批次中的所有图像进行两两比较，按照肿瘤浸润程度对图像进行排序。模型在潜在空间中隐式地学习具有相同肿瘤浸润程度的全片SRH图像的相似表示，并对这些表示进行适当的排序。在微调过程中，模型使用一个线性切片评分层输出一个介于0到1之间的标量值，表示整片SRH图像中肿瘤浸润的程度。该方法能够在几秒钟内为每个标本提供临床可操作的信息，帮助评估手术边缘，并且能够在手术切除的早期阶段识别出肿瘤浸润密集的标本，从而获得高产的术中和最终病理诊断组织。与其他最先进的有序回归方法相比，有序度量学习在训练数据有限的情况下表现更优。在使用SRH渗透数据集进行的保持测试中，该方法的接收算子特征曲线（mAUROC）下的平均面积为88.7±1.6%，显示出显著的性能优势。

Prospective testing of FastGlioma

多中心弥漫性胶质瘤患者的前瞻性队列中测试了微调后的FastGlioma模型，以评估该模型如何在不同大陆、医疗中心、患者人口统计学和WHO弥漫性胶质瘤分子亚群中推广。FastGlioma鉴别四种不同程度弥漫性胶质瘤浸润的平均AUROC为92.1±0.9%（图2a）。归一化浸润评分与基真序数标签密切相关，相关系数为ρ = 0.77(95%置信区间= 0.74-0.78,P = 0.00)（图2b）。视觉基础模型预训练使FastGlioma能够推广到以10倍成像速度获得的快速、低分辨率图像，而不会在临床上显著降低预测性能（降低<1%）（图2c）。通过有序度量学习对SRH基础模型进行微调，导致FastGlioma在线性浸润轴上表示整片SRH图像，并根据其真实浸润标签对SRH图像进行分层（图2d）。模型性能和浸润评分在患者人口统计学中是一致的，包括性别、年龄和种族。各个医疗中心的mAUROC仍然很高：UCSF(92.1±0.2%)，MUV（88.6±0.13% ）NYU(92.9±0.1%)。尽管存在与肿瘤分级、分子遗传学、治疗效果或WHO亚型相关的显著细胞学和组织结构差异，但FastGlioma保持了准确的肿瘤浸润评分（图2e）。最后，FastGlioma在肿瘤检测方面的性能比基于细胞/分段的方法有很大的提高，mAUROC性能提高了10%，特别是在细胞或肿瘤密度较低的区域。

Interpretability and zero-shot results

图3.General and interpretable FastGlioma predictions
作者提出了一种创新的可视化策略，利用FastGlioma的自我监督训练和泛化能力，称为少样本可视化。这种方法在查询特定的SRH区域或补丁时，通过医生选定的少量SRH补丁示例来构建支持集，从而评估特征相似性。支持集包含多种弥漫性胶质瘤和正常脑实质的SRH补丁，作为参考。在此基础上，FastGlioma的少样本可视化通过比较肿瘤和正常组织之间的相似性，生成肿瘤浸润热图。图3展示了来自前瞻性测试中心的几次可解释的可视化结果，热图清晰地分割出了肿瘤浸润区域。尽管不同的组织学特征存在差异，FastGlioma仍能可靠地识别肿瘤浸润区域，并且在不同的弥漫性胶质瘤分子亚群中学到了稳定的肿瘤浸润特征。这一方法证明了医学基础模型在零样本条件下的泛化能力，能够准确检测肿瘤浸润，并且在诊断非胶质瘤脑肿瘤时展现出相当的潜力。

FastGlioma as a surgical adjunct

作者同时模拟一项介入性临床试验来评估FastGlioma作为手术辅助手段的可行性和安全性，在该试验中，手术切除是由FastGlioma预测指导的。FastGlioma预测（实验组）与标准护理术中手术辅助（对照组）进行了头对头的前瞻性比较，总共纳入了129例弥漫性胶质瘤患者。评估了两个研究组区分手术标本与正常脑（0分）和致密肿瘤浸润（3分）的分类任务。FastGlioma在大范围检测肿瘤浸润方面优于图像引导和荧光引导方法（图4a）。FastGlioma的AUROC为98.1%，而FLAIR阳性为76.3%，对比增强为71.8%，5-ALA荧光为89.0%。弥漫性胶质瘤手术的一个主要挑战是解释FLAIR阳性，这可能表明肿瘤浸润或脑水肿，或两者兼而有之。FastGlioma能够正确区分flair阳性区域的肿瘤浸润和脑水肿，AUROC为98.7%。

FastGlioma组中只有3.8%（5 / 129）的患者至少有1个高危肿瘤漏诊，而手术辅助组中这一比例为24.0%(31 / 129)（图4b）。与FastGlioma作为手术辅助手段相比，仅使用目前标准护理手术辅助手段进行弥漫性胶质瘤切除术的患者术后发生致密、可安全切除残余肿瘤的相对风险可能增加6.3倍。

更多实现的详细信息可以阅读作者原文和代码：https://www.nature.com/articles/s41586-024-08169-3
https://github.com/MLNeurosurg/fastglioma

参考文献：Kondepudi, A., Pekmezci, M., Hou, X. et al. Foundation models for fast, label-free detection of glioma infiltration. Nature (2024). https://doi.org/10.1038/s41586-024-08169-3

公众号：MedAI Lab