用于病理图像诊断的跨尺度多实例学习

最新推荐文章于 2025-01-02 22:54:42 发布

大靠山

最新推荐文章于 2025-01-02 22:54:42 发布

阅读量1.3k

点赞数 15

文章标签：学习人工智能机器学习 milvus llama 深度学习

本文链接：https://blog.csdn.net/m0_59235245/article/details/143312437

版权

分析高分辨率全切片图像(WSI)中的多尺度信息是数字病理学的一大挑战。多实例学习(Multi-instance Learning，MIL)是处理高分辨率图像的常见解决方案，它通过对对象包(即较小图像斑块集)进行分类来实现。然而，这种处理通常是在WSI的单一尺度(如20 倍放大率)下进行的，忽略了对人类病理学家诊断至关重要的尺度间信息。

为了解决这个问题，2024年5月，来自美国范德比尔特大学、北卡罗来纳大学教堂山分校和美国退伍军人事务部田纳西河谷医疗保健系统的联合研究团队提出了一种新颖的跨尺度MIL算法，将尺度间的关系明确聚合到单个MIL网络中，用于病理图像诊断。该研究的主要贡献如下：(1) 提出了一种新型跨尺度MIL(CS-MIL)算法，该算法整合了多尺度信息和尺度间关系；(2) 创建并发布了一个具有特定尺度形态特征的小型标准数据集，以检验和可视化不同的跨尺度关注；(3) 所提出的简单跨尺度MIL策略在内部和公共数据集上都表现出了卓越的性能。

原文链接：

https://www.sciencedirect.com/science/article/pii/S1361841524000495

源码链接：

https://github.com/hrlblab/CS-MIL

论文创新点

1. 该研究提出了一种新颖的CS-MIL算法，该算法在特征提取过程中明确地建模了不同尺度之间的关系。这种算法的提出可能为处理多尺度特征的数据提供了新的视角和方法。

2. 为了检验和可视化不同尺度间的注意力差异，研究者创建了一个小型标准数据集，其中包含了尺度特异性的形态学特征。这个数据集的创建有助于更好地理解和展示CS-MIL算法在处理尺度变化时的效果。

3. 通过简单的跨尺度MIL策略，该研究在内部和公共数据集上都展示了优越的性能。这表明新提出的算法不仅在理论上具有创新性，而且在实际应用中也具有较高的有效性和实用性。

1.实验方法

图1c展示了所提出的CS-MIL的整体流程。具体而言，该研究提出了一种新颖的基于注意力的“早期融合”范式，旨在以整体方式捕捉尺度间的关系。首先，从WSIs中联合平铺具有相似中心坐标但来自不同尺度的patch。然后，使用自监督模型提取斑块表型特征。对每个WSI应用基于局部特征的聚类，将表型模式分配到每个MIL袋中。然后，执行跨尺度注意力引导的MIL，在多尺度和多聚类设置中聚合特征。最后，生成跨尺度注意力地图，供人类进行视觉检查。

图1. a. 以前的工作没有考虑到不同分辨率下的跨尺度关系。b. 所提出的解决方案能够利用跨尺度注意力图识别重要区域，并通过乘以跨尺度注意力分数将跨尺度特征汇总为跨尺度表示，用于诊断病理图像。将不同聚类的跨尺度表征合并，用于病理分类。

特征嵌入和表型聚类

首先，该研究使用对比学习模型SimSiam作为表型编码器，从不同尺度的图像块中提取高级表型特征。这些特征随后被嵌入到低维特征向量中，以便在第二阶段进行分类。此外，研究者还采用了k-means聚类方法，根据第一阶段的自监督嵌入在20倍放大率下对患者水平的图像块进行聚类，以组织具有更好泛化的MIL模型袋子，并通过独特的表型模式在WSIs上进行稀疏分布。这种方法不仅利用了不同尺度的形态特征，还学习了它们之间的跨尺度交互，作为早期融合学习范式的一部分。

跨尺度注意力机制

该研究还提出了一种创新的跨尺度注意力机制，该机制旨在捕获WSIs中不同尺度的模式。这一方法使用基于CNN的编码器来细化来自相应表型聚类的特征嵌入，然后聚合实例级特征以实现患者级的分类。该研究指出，尽管以往的工作提出了注意力机制来增强模型在WSIs中对空间位置模式的使用，但这些方法并没有利用WSIs中不同尺度的模式。为了解决这个问题，该研究首先从表型编码器中提取的跨尺度特征进一步通过一个多尺度编码器处理，然后应用跨尺度注意力机制来考虑同一位置不同尺度的重要性。通过这种方式，模型能够生成跨尺度注意力分数，并将这些分数与跨尺度特征相乘，从而得到一个融合的跨尺度表示，用于病理图像的诊断。

这一机制的关键在于引入了注意力引导的MIL方案，它不仅利用了不同尺度的形态特征，还学习了它们之间的跨尺度交互，作为早期融合学习范式的一部分。

数据集及实验设置

该研究使用了两个数据集，包括一个内部的克罗恩病(CD)数据集，包含50个来自20位CD患者的升结肠病变活检样本和30个健康对照者的样本，这些样本以20倍放大率进行染色和扫描。测试集则包含了72位与训练数据集中患者无重叠的CD患者的116个活检样本。此外，还使用了TCGA-GBMLGG胶质瘤数据集，包含613个患者样本，其中330位具有IDH突变。在实验设置方面，所有的WSIs被裁剪成4096×4096像素的区域，并在20×、10×和5×三个尺度下提取图像块。使用ResNet-50作为骨干网络的SimSiam模型在这三个尺度上独立训练，以获取2048通道的嵌入向量。通过k-means聚类进行表型聚类，并生成跨尺度特征。对于TCGA-GBMLGG数据集，由于计算资源限制，只随机选取了10%的区域进行训练，并在测试阶段为每个WSI生成了500个图像袋，以评估模型性能。这些实验设置旨在验证所提出的跨尺度多实例学习(CS-MIL)模型在不同病理图像诊断任务中的有效性和泛化能力。

2.实验结果

该研究首先展示了所提出的跨尺度多实例学习(CS-MIL)模型在两个数据集上的分类性能。表1和图2实验结果显示，CS-MIL模型在CD数据集和TCGA-GBMLGG数据集上均取得了优于现有多尺度MIL基准模型的性能。具体来说，CS-MIL在CD数据集上达到了0.8774的AUC分数和0.8486的平均精度(AP)分数，在TCGA-GBMLGG数据集上也获得了0.7737的AUC分数和0.8187的AP分数。

表1. 在两个数据集上的分类性能。以CS-MIL为参照(‘‘Ref.’’)方法进行引导双尾检验和DeLong检验。*表示差异显著(𝑝 < 0.05)，“N.S.”表示差异不显著。

图2. 带有AUC分数的ROC曲线和带有AP分数的PR曲线。该图展示了基线模型和所提出模型的接收者操作特征曲线(ROC)和精确度-召回曲线(PR)，以及相应的曲线下面积(AUC)分数和平均精确度(AP)分数。以及相应的曲线下面积(AUC)得分和平均精确度(AP)得分。结果表明，具有跨尺度注意力的拟议模型在这两个指标上都优于基线模型。

此外，作者还提供了跨尺度注意力图(如图3所示)，这些图展示了CS-MIL模型在不同尺度上识别出的区域的重要性。在CD数据集中，20×的注意力图突出显示了慢性炎症浸润区域，而10×的注意力图则聚焦于隐窝结构。这些注意力图不仅揭示了模型在不同尺度上识别疾病相关区域的能力，而且为临床医生解释基于图像的疾病表型提供了潜在的帮助。

图3. 注意力图可视化。该图显示了所提出的CD WSI模型生成的跨尺度注意力图。20倍的注意力图突出显示了慢性炎症浸润，而 10倍的注意力图则侧重于隐窝结构。这些感兴趣的区域表明了CD诊断的独特区域，这些区域在多个尺度上都能辨别出来。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述