Nature | 癌症诊断和预后预测的通用病理基础模型！

最新推荐文章于 2025-04-15 13:14:44 发布

程序员笑武

最新推荐文章于 2025-04-15 13:14:44 发布

阅读量1.4k

点赞数 29

文章标签：学习深度学习人工智能 transformer gru

本文链接：https://blog.csdn.net/m0_59164304/article/details/143807364

版权

文章摘要

组织病理学图像评估对于癌症诊断和亚型分类是不可或缺的。标准的组织病理学图像分析人工智能方法集中在为每个诊断任务优化专门的模型。尽管这些方法取得了一定的成功，但它们通常对于由不同数字化协议生成的图像或从不同人群中收集的样本具有有限的泛化能力。在这里，为了应对这一挑战，作者设计了临床组织病理学成像评估基础（CHIEF）模型，这是一个通用的弱监督机器学习框架，用于提取病理成像特征进行系统的癌症评估。**CHIEF利用两种互补的预训练方法来提取多样化的病理表示：无监督预训练用于瓦片级特征识别，弱监督预训练用于全幻灯片模式识别。使用涵盖19个解剖部位的60,530张全幻灯片图像开发了CHIEF。通过对44TB高分辨率病理成像数据集进行预训练，CHIEF提取了对癌细胞检测、肿瘤起源识别、分子特征表征和预后预测有用的微观表示。使用来自24家国际医院和队列收集的32个独立幻灯片集的19,491张全幻灯片图像成功验证了CHIEF。总体而言，CHIEF在处理来自不同人群的样本和由不同幻灯片制备方法处理的样本中观察到的领域偏移方面，比最先进的深度学习方法提高了高达36.1%，显示出其泛化能力。CHIEF为癌症患者的高效数字病理评估提供了一个可泛化的基础。

学术地址：

https://www.nature.com/articles/s41586-024-07894-z

代码地址：

https://github.com/hms-dbmi/CHIEF

前世今生

组织病理学图像评估是癌症诊断和癌症亚型分类的重要组成部分。以往基于人工智能（AI）的组织病理学图像分析研究主要依赖于为每个用例优化训练任务特定模型。例如，已经开发了专门的深度神经网络用于癌细胞识别，组织学和分子亚型分类，预后评估以及使用千兆像素全幻灯片图像（WSIs）进行治疗反应预测。此外，最先进的计算病理学分析揭示了定量形态信号，这些信号表明了临床上重要的分子标记，展示了AI方法在识别人眼无法察觉的细胞特征方面的潜力。尽管这些进展为改进癌症评估提供了有希望的途径，但几个限制仍然困扰着定量病理图像分析。首先，标准的深度学习方法需要大量的数据来训练每个任务的表现模型。由于很难获得涵盖不同组织微环境异质性的全面病理表示，现有的方法主要侧重于单独解决每个狭窄的诊断任务。此外，大多数用于病理成像分析的AI模型是从为分类宏观物体（例如，动物、汽车和公共汽车）设计的通用计算机视觉模型定制的。这些传统方法在训练专门的诊断模型时没有利用一般的组织病理学模式。此外，由单一来源的图像训练的AI模型倾向于过度拟合训练数据分布，并在应用于不同病理实验室处理的图像时性能大幅下降。这些限制阻碍了最先进的AI模型在可靠的病理评估中的有效应用。

自监督学习作为一种有前途的方法，通过在不同设置下收集的样本中使用，为广泛的预测任务获取稳健的图像特征表示。由于多样化的未标记训练数据相对容易收集，且模型训练过程与任务无关，自监督学习在不同任务和数据分布上取得了稳健的性能，如图像检索和弱监督WSI分析。自监督学习在病理图像分析方面的最新进展进一步利用了图像及其文本描述来增强计算机视觉模型的性能。**然而，这些方法有两个主要限制。**首先，它们主要关注WSIs中的单个图像瓦片，而没有考虑同一组织不同区域之间的相互作用。其次，以往的研究集中在狭窄的诊断任务上，并没有评估提取的定量成像特征在不同预测任务中的泛化能力，这些任务涵盖了多种癌症类型和来自多个来源的样本。由于病理学家经常面临各种疾病样本，并需要从组织微环境中整合上下文信息，因此开发一个能够适应广泛组织类型和评估任务的通用病理AI系统至关重要。

为了满足这些紧迫的临床需求，作者建立了CHIEF模型，这是一个通用的机器学习框架，为各种病理诊断和预测任务提供基础（图1a）。利用了两种互补的AI模型预训练形式：使用1500万个病理图像瓦片进行自监督预训练，以获取瓦片级特征表示，以及对涵盖19个解剖部位的60,530个WSIs进行弱监督预训练，以获取组织上下文表示。此外，设计了一个高效的框架，用于大规模WSI分析中的瓦片级特征聚合。作者进一步使用32个独立数据集验证了CHIEF在癌症检测、肿瘤起源表征、基因突变识别和生存预测方面的能力，这些数据集包括19,491个弱注释的WSIs。作者的方法挑战了传统的基于注意力的瓦片聚合方法，提供了WSI特征的整体表示。CHIEF能够系统地识别微观特征，并为可靠的病理评估奠定了基础。

匠心独运

图1 | CHIEF模型概述。a，CHIEF是一个用于弱监督组织病理学图像分析的通用机器学习框架。CHIEF提取对癌症分类、肿瘤起源预测、基因组档案预测和预后分析有用的病理成像表征。使用代表19个解剖部位的60,530个WSIs以弱监督的方式预训练CHIEF。在预训练过程中，将WSIs裁剪成不重叠的成像瓦片，并使用对比语言-图像预训练（CLIP）嵌入方法编码每个WSI的解剖部位信息，以获得每个解剖部位的特征向量。将文本和图像嵌入合并，以代表训练数据中的异质病理信息。然后使用CHIEF提取的病理成像特征直接推断癌症类型。在基因组档案和预后预测任务中，CHIEF特征作为微调每个特定任务模型的基础。b，用于训练CHIEF模型的60,530个幻灯片的总结。从14个队列中收集了这些属于19个解剖部位的病理幻灯片。c，CHIEF在癌症分类、基因组档案识别和生存预测任务中显著优于最先进的方法。左侧面板总结了癌症分类和基因组档案预测任务的AUROC。总体而言，CHIEF在这些任务中比最先进的深度学习方法高出36.1%。右侧面板概述了生存预测的c指数。平均而言，CHIEF比传统方法表现高出9%。补充表1-3显示了详细的性能比较。DFCI，Dana-Farber癌症研究所；PAIP，病理AI平台；PLCO，前列腺、肺、结肠和卵巢研究。a中的人类和DNA图形是用BioRender.com创建的

卓越性能

图2 | CHIEF在利用WSIs检测癌细胞方面超越了最先进的深度学习方法。a，b，使用来自世界各地几家医院收集的15个独立数据集验证了CHIEF的癌症检测能力。测试数据集包括了来自11个原发部位（乳腺、子宫内膜-子宫、食管、胃、宫颈、结肠、前列腺、肾脏、皮肤、胰腺和肺）的13,661个WSIs。a，在15个独立的测试数据集中，CHIEF的AUROC达到了0.9943，并始终优于（双尾Wilcoxon符号秩检验P值=0.000061）三种深度学习方法（即，CLAM、ABMIL和DSMIL）。展示了CHIEF和基线方法的接收者操作特征曲线。使用非参数自举方法（n=1,000次复制）计算出的平均AUROC及其95%CI。每个图表中的对角虚线代表了空模型的性能。CCRCC，透明细胞肾细胞癌；CM，皮肤恶性黑色素瘤；PDA，胰腺导管腺癌。b，模型注意力分数的可视化显示CHIEF准确地识别了WSIs中的癌性区域。对于每种癌症类型，左侧图像面板代表了经验丰富的病理学家标记的真实注释。由于CHIEF采用了只需要幻灯片级注释的弱监督方法，因此在训练阶段并未向模型透露这些区域级注释。中间面板可视化了CHIEF对WSIs中每个区域的关注程度。右侧面板显示了接收到高（红色轮廓的图像瓦片）和低（黑色轮廓的图像瓦片）注意力分数区域的放大视图。扩展数据图2和补充图1显示了这个分类任务的额外结果可视化。原始WSIs及其相应的热图可在https://yulab.hms.harvard.edu/projects/CHIEF/CHIEF.htm上找到。比例尺，2毫米（宫颈（TissueNet）、前列腺（Diagset-B）和结肠（Dataset-PT）的左侧图像），3毫米（乳腺（DROID-Breast）的左侧图像）和50微米（右下角放大）。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述