IF=10.7，集成变换器的多实例学习预测子宫内膜癌和结直肠癌组织病理学全切片图像中的病理亚型和肿瘤突变负荷

最新推荐文章于 2025-04-13 21:36:23 发布

江湖人称麻花滕

最新推荐文章于 2025-04-13 21:36:23 发布

阅读量987

点赞数 21

文章标签：学习人工智能 lstm cnn 深度学习知识图谱

本文链接：https://blog.csdn.net/m0_59235699/article/details/146642512

版权

这篇文章的标题是《Ensemble transformer-based multiple instance learning to predict pathological subtypes and tumor mutational burden from histopathological whole slide images of endometrial and colorectal cancer》，作者是Ching-Wei Wang等人。文章发表在《Medical Image Analysis》期刊上，主要研究了一种基于集成变换器的多实例学习方法，用于从子宫内膜癌和结直肠癌的组织病理学全切片图像（WSIs）中预测病理亚型和肿瘤突变负荷（TMB）。

一、文章概述

1.研究目标：提出了一种深度学习框架（ETMIL-SSLViT），用于直接从EC和CRC患者的H&E染色WSIs中预测病理亚型和TMB状态，有助于病理分类和癌症治疗规划。

2.实验方法：

（1）开发了一个深度学习模型，该模型结合了自监督学习视觉变换器特征编码器（SSLViT-FEM）和基于变换器的多实例学习（TMIL）。

（2）使用了来自癌症基因组图谱（TCGA）的两个不同的癌症队列进行评估，包括EC队列（918个WSIs，529名患者）和CRC队列（1495个WSIs，594名患者）。

3.实验结果：

（1）结果表明，所提出的方法在两个癌症数据集上的癌症亚型分类和TMB预测方面均取得了优异的性能，超越了七种最先进的方法。

（2）Fisher精确检验进一步验证了所提出模型的预测与实际癌症亚型或TMB状态之间的关联非常强（p < 0.001）。

二、核心技术

1.深度学习（Deep Learning, DL）：

利用深度学习算法来处理和分析组织病理学全切片图像（WSIs），以预测病理亚型和肿瘤突变负荷（TMB）。

2.集成变换器（Ensemble Transformer）：

一种深度学习模型，用于处理序列数据，尤其在自然语言处理领域表现出色。在这篇文章中，变换器被用于分析图像数据，捕捉图像特征，并进行病理亚型和TMB状态的预测。

3.多实例学习（Multiple Instance Learning, MIL）：

MIL是一种机器学习范式，适用于病理学图像分析中patch实例级标签不可用，只有片级标签可用的情况。文章中提出的TMIL（Transformer-based Multiple Instance Learning）模型利用变换器的自注意力机制来处理WSI中的实例间关系。

4.自监督学习（Self-Supervised Learning, SSL）：

SSL是一种无监督学习方法，它通过构建预测任务来利用未标记的数据。在这篇文章中，SSL被用于预训练视觉变换器（Vision Transformer, ViT），以提取WSIs的特征。

5.视觉变换器特征编码器（Vision Transformer Feature Encoder Module, SSLViT-FEM）：

一个结合了预训练的ViT和SSL技术的模块，用于从WSIs中提取特征。它利用注意力机制来整合全局上下文信息，并提高特征提取的准确性。

6.早期停止机制（Early Stop Mechanism, ESM）：

用于防止模型过拟合，节省计算资源和时间。通过监控验证集上的交叉熵损失来实现，如果损失在连续多个周期内没有改善，则触发早期停止。

7.集成框架（Ensemble Framework, EF）：

使用集成学习方法，通过结合多个模型的预测来提高整体性能，减少过拟合，并提高模型的泛化能力。

8.两阶段最优模型发现（Two-stage Optimal Model Finder, T-OMF）：

一个两阶段的模型选择机制，用于从多个训练模型中选择性能最优的模型进行集成。

三、实验效果

Fig. 1：展示了所提出的集成变换器基础的多实例学习模型（ETMIL-SSLViT）的框架概览。这个框架包括视觉patch分割模块（VPSM）、自监督学习视觉变换器特征编码器模块（SSLViT-FEM）、集成框架（EF）以及基于变换器的多实例学习（TMIL）。

Fig. 2：展示了接收者操作特征曲线（AUROC curves），用于评估模型在子宫内膜癌（EC）亚型分类和肿瘤突变负荷（TMB）预测方面的性能。包括侵袭性与非侵袭性EC亚型的分类，以及侵袭性和非侵袭性EC亚型中的TMB预测。

Fig. 3：展示了结直肠癌（CRC）亚型分类和TMB预测的AUROC曲线。包括粘液性与非粘液性CRC亚型的分类，以及非粘液性和粘液性CRC亚型中的TMB预测。

Fig. 4：提供了两个癌症数据集（子宫内膜癌和结直肠癌）的详细信息，包括数据集的组成、图像多样性、亚型分布、像素长度分布、种族分布和年龄分布。

Fig. 5：展示了模型在预测CRC和EC样本的TMB时的注意力热图，这些热图揭示了模型在做出预测时重点关注的图像区域。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述