IJCAI2024，通过自我革新关键区域聚焦实现病理图像诊断和预后模型的百倍加速

本文链接：https://blog.csdn.net/m0_59235945/article/details/143349665

本文是一篇关于病理图像诊断和预后深度学习模型加速的研究论文，标题为“Hundredfold Accelerating for Pathological Images Diagnosis and Prognosis through Self-reform Critical Region Focusing”。

一、论文概述

数字病理切片通常是具有丰富信息的十亿像素级图像，对临床诊断至关重要。这些图像的超大尺寸使得训练和评估变得极其耗时。论文提出了一种名为自革新多层变换器（Self-reform Multilayer Transformer, SMT）的方法，以加速病理图像的诊断和预后。SMT的设计灵感来源于病理学家的诊断过程，通过逐层关注关键区域来实现。实验表明，SMT在保持准确性的同时，比现有方法快数百倍，并且需要的存储空间更少。

病理学家诊断过程

二、核心技术

SMT（Self-reform Multilayer Transformer）的关键技术点总结如下：

多层变换器结构：SMT采用多层变换器（Transformer）结构来处理不同尺度的病理图像。这种结构允许模型从宏观到微观逐层关注关键区域。
前向聚焦策略：在前向传播过程中，SMT的第一层接收缩略图作为输入，评估每个区域的重要性，选择值得关注的区域。这些区域在后续层中以更高的放大倍数被裁剪出来，用于输入下一层。
后向重构思略：为了提高前层的精度，SMT提出了一种后向重构思略，使用后续层的详细信息来优化前一层的分类器和聚焦预测器。
循环优化过程：通过前向聚焦和后向重构思略的循环迭代，SMT能够在保持准确性的同时，忽略非关键区域，从而实现快速的诊断和预后。
弱监督训练策略：在只有切片级别标签的情况下，SMT仍然能够实现快速准确的预测。通过选择高精确度的阳性patch图像，即使在存在噪声标签的情况下，也能保持训练数据的质量。
聚焦预测器：SMT中的聚焦预测器负责评估哪些patch图像值得在下一层进行放大和关注。这些预测器可以通过模型梯度来训练，以提高聚焦的准确性。
存储和计算效率：SMT在推理阶段只需要处理每个全切片图像（WSI）的一小部分关键patch图像，大大减少了存储和计算需求。
多尺度特征融合：SMT能够从不同尺度提取结构和细胞特征，并将这些特征用于精确的诊断和预后。

三、结果展示

表1中列出了不同方法在CAMELYON16、PANDA、PANDA-B、BRCA、LUAD和HCC数据集上的分类准确率（Acc.）和推理时间（Time）。准确率以百分比表示，附带标准差；时间以秒为单位。SMT在大多数数据集上实现了与其他方法相当的准确率，同时显著减少了推理时间，表明了其在病理图像诊断和预后任务中的高效性。

表2展示了在诊断（CAMELYON16）和预后（HCC）病理数据集上进行的消融研究（Ablation Study）的结果。消融研究旨在评估SMT模型的不同组成部分对最终性能的影响。表格中列出了以下几种不同的聚焦策略和它们在测试集上的表现：仅使用前向聚焦策略（Forward）：仅根据模型的前向传播来选择关注区域，不涉及后向重构思略。前向聚焦策略+后向重构策略（Forward + Backward）：结合前向聚焦策略和后向重构策略，使用后者来优化前者的聚焦结果。

图3展示了SMT模型在不同数量的聚焦patch图像（Focused Patches）下的性能变化。这个图表进行了消融研究，以测试改变聚焦patch图像数量对测试准确率（Test Accuracy）和推理时间（Inference Time）的影响，为研究人员和临床医生提供了关于如何根据具体的应用场景和资源限制来调整SMT模型的宝贵信息。通过这种消融研究，可以更好地理解模型的性能，并为实际应用中的模型部署提供指导。

图4 展示了SMT（Self-reform Multilayer Transformer）模型在病理图像上的聚焦结果。这个可视化有助于理解模型如何识别和关注病理图像中的关键区域：

聚焦预测的可视化：展示了模型在正样本（Positive Slides）和负样本（Negative Slides）上的所有patch图像的聚焦预测。高聚焦分数的patch图像被突出显示，通常用红色（top-1）和黄色（top-2 至 top-4）标记。
高聚焦patch图像的选择：在每个层级中，模型预测最值得关注的patch图像（例如，top-1patch图像），并将其用于下一层的输入。这个patch图像通常会被放大显示，以便于观察和分析。
正确类别的预测值：每个正样本/负样本patch图像下方可能显示了模型对正确类别的预测值，这有助于评估模型的预测准确性。
病理图像的对比：通过比较正样本和负样本的聚焦结果，可以观察模型在不同类型的病理图像上的表现。例如，在正样本中，高聚焦预测的patch图像通常与癌症区域一致；而在负样本中，模型可能会选择那些形态上类似于癌细胞的上皮样细胞作为高聚焦区域。
聚焦策略的有效性：即使在负样本中，SMT模型也会预测关注所有patch图像的重要性。这有助于进一步确认即使图像中不包含癌症区域，模型也能识别出最有可能含有癌症的区域。
模型的鲁棒性：通过观察模型在不同样本上的聚焦结果，可以评估模型对于不同病理图像的鲁棒性和泛化能力。

这个消融实验为研究人员提供了直观的证据，表明SMT模型能够有效地识别病理图像中的关键区域，并在这些区域上进行精确的诊断。这种可视化对于理解模型的决策过程和提高模型的透明度非常有用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述