CVPR2024，提示视觉基础模型以进行病理图像分析

最新推荐文章于 2025-05-16 14:05:46 发布

程序猿李巡天

最新推荐文章于 2025-05-16 14:05:46 发布

阅读量802

点赞数 21

文章标签：人工智能学习算法 llama 计算机视觉

本文链接：https://blog.csdn.net/m0_59235945/article/details/142861946

版权

这篇论文的标题是《Prompting Vision Foundation Models for Pathology Image Analysis》，由Chong Yin等人撰写。文章主要介绍了一种针对病理图像分析的新方法，特别是用于非酒精性脂肪肝病（NAFLD）的诊断，提出了一种新的数据高效范式，即提示（prompting），它通过在模型输入空间中调整少量参数，同时保持大部分预训练部分不变，这在处理低数据环境中被证明是有效的。

一、文章概述

论文提出了一种新的方法，Quantitative Attribute-based Prompting (QAP)，用于肝脏病理图像分析。
QAP基于两种定量属性：K-function-based空间属性和直方图形态学属性，旨在对组织状态进行定量评估。
通过条件性提示生成器将这些实例特定的属性转化为视觉提示。
在三个不同的任务上进行的广泛实验表明，该任务特定的提示方法在诊断性能和可解释性方面都取得了更好的效果。

二、核心创新点

定量属性的视觉提示（QAP）：

提出了一种新的视觉提示方法，专门为病理图像分析设计，而不是依赖于通用图像识别中的任务不可知提示。

基于K函数的空间属性：

使用K函数来量化肝脏活检图像中细胞核和白色区域（可能代表脂肪细胞或血管）的空间排列，这有助于揭示非酒精性脂肪肝病（NAFLD）的特征。

基于直方图的形态学属性：

利用直方图分析来量化组织样本中观察到的对象的形状、大小和结构，为病理图像提供了详细的形态学特征描述。

属性条件提示生成器（ACPG）：

设计了一个根据图像的定量属性来生成视觉提示的生成器，这些提示旨在为模型提供更具体和有针对性的视觉提示。

结合传统组织学评估与深度学习：

将传统的组织学评估与先进的深度学习技术相结合，提高了诊断性能的可解释性和可靠性。

增强的可解释性：

通过注意力图和属性重要性直方图，模型能够突出显示用于诊断决策的图像区域和属性，从而增强了诊断过程的可解释性。

针对小规模数据集的优化：

针对病理图像分析中小规模数据集的挑战，提出了一种有效的数据高效范式，通过少量可训练参数的调整实现模型的优化。

广泛的实验验证：

在三个不同的病理图像分析任务上进行了广泛的实验，验证了所提方法在不同情况下的有效性和优越性。

这些创新点展示了如何通过将病理学专家在分析图像时考虑的定量属性融入到深度学习模型中，来提高病理图像分析的准确性和可解释性。

三、实验结果

图1(a) 展示了通用视觉提示方法和提出的特定任务视觉提示方法的对比。(b) 展示了在不同的肝脏病理图像分析方法（包括Fabian et al., SAR, VPT-DEEP, VQT等）的性能概览。提出的方法（QAP）在整体性能上表现优异。

图2展示了提出的方法的概述。QAP探索空间和形态学属性，以生成视觉提示，辅助病理图像分析。此外，QAP引入了一个属性条件提示生成器，用于生成表征病理图像的视觉提示。

图3展示了模型在识别特定组织学发现时的图像样本、注意力图和属性重要性直方图。通过注意力图和属性重要性直方图，模型增强了通过可视化决策过程来解释的能力。

图4展示了疾病区域比例和病理学家分配的组织学评分的箱线图。提供了研究中NAFLD严重性和进展的分布信息。

图5展示了肝脏活检图像中细胞核和白色区域的K函数分布。K函数图展示了空间聚类或分散情况，以及不同类别的细胞核和白色区域的空间排列。

图6展示了肝脏活检图像中白色区域的形态学属性直方图。这些直方图有助于区分不同类别中观察到的白色区域。

图7展示了在提出的方法中结合不同定量属性时的性能比较。使用定量属性可以更好地识别组织学发现。

图8探索了各种提示。通过将明确的提示线索纳入学习提示中，可以显著提高性能。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述