Nature Communications|多模态大型语言模型实现癌症病理图像分类！

最新推荐文章于 2025-04-27 10:30:09 发布

小天才学习机打游戏

最新推荐文章于 2025-04-27 10:30:09 发布

阅读量1.1k

点赞数 24

文章标签：语言模型分类人工智能 easyui 前端 javascript 知识图谱

本文链接：https://blog.csdn.net/m0_59164520/article/details/145399905

版权

01.工作速览

医学图像分类需要使用标记过的、特定于任务的数据集来从头训练深度学习网络，或者用于微调基础模型。然而，这一过程在计算和技术上都极具挑战性。在语言处理中，上下文学习提供了一种替代方案，模型可以直接从提示中学习，从而绕过参数更新的需求。然而，上下文学习在医学图像分析中的应用仍处于探索阶段。

2024年11月21日，德国海德堡大学在_Nature Communications_在线发表题为**“In-context learning enables multimodal large language models to classify cancer pathology images”**的研究论文。该研究系统性地评估了具备视觉能力的生成式预训练变换器4（GPT-4V）在三种高重要性的癌症组织病理学任务中的表现，这些任务包括：结直肠癌组织亚型分类、结肠息肉亚型分类以及淋巴结切片中的乳腺肿瘤检测。

结果显示，上下文学习足以匹配甚至超越为特定任务训练的专业神经网络，同时仅需极少量样本。总结来说，本研究表明，经过非特定领域数据训练的大型视觉语言模型可以直接应用于组织病理学中的医学图像处理任务。这使得没有技术背景的医学专家也能使用通用人工智能模型，尤其是在标注数据稀缺的领域，极大地促进了这些模型的普及。

02.匠心独运

由于促炎巨噬细胞向抗炎巨噬细胞的复极化受损，传统的骨组织工程材料难以在糖尿病期间恢复生理性骨重塑。

人工智能（AI）即将彻底改变医疗保健领域。尽管其潜力巨大，但在医学领域也面临着独特的挑战，这些挑战源于该领域的固有复杂性以及对准确性和可靠性的关键需求。近年来，AI的应用主要集中在特定领域，尤其是在放射学和病理学中的计算机视觉模型，以及肿瘤学中的皮肤癌检测。

组织病理学在疾病诊断中，尤其是癌症诊断中，一直占据核心地位，并且始终处于医学计算进步的前沿。最近的进展使得从常规苏木精和伊红（H&E）染色的显微镜图像中检测癌症亚型和生物标志物（如基因改变）成为可能，这些进展可以直接分层并改善患者护理。目前，计算病理学的黄金标准是基于大量多样化图像数据集训练视觉基础模型，这些模型可以轻松定制用于临床相关应用。然而，这些基础模型在训练过程中需要大量的特定领域图像，并且仅限于视觉应用。

上下文学习（In-Context Learning, ICL）——这一概念借鉴自自然语言处理（NLP）领域——可能为这一问题提供解决方案。大型语言模型（LLMs）能够从与提示一起提供的少量手工示例中学习，显示出巨大的潜力，并已被证明可以提高模型性能。在医学环境中，这种方法可能涉及向LLM展示一个详细的临床场景，例如一个复杂的肿瘤学病例，以及几个具有不同解决策略的类似实例。这种方法被称为少样本提示（few-shot prompting）。

然而，一个主要缺点是这些模型仅限于基于文本的任务。医学是一个高度多模态的学科，全面理解患者的症状或诊断需要来自多种数据源的信息，例如放射学和显微镜成像、临床报告、实验室值和电子健康记录。直到最近，AI领域才开始涉足视觉语言模型（VLMs），例如GPT-4V的发布、谷歌DeepMind的Gemini系列或开源变体如LLaVA。

在本研究中，作者展示了使用GPT-4V进行上下文学习与专门的图像分类器在三个组织病理学基准数据集上的效能对比结果。值得注意的是，证明了通过上下文学习可以提高GPT-4V在组织分类中的性能，并且与专业计算机视觉模型相当。这一进展质疑了未来开发特定任务的深度学习模型的必要性，并使通用人工智能模型的使用更加普及，从而加速医学研究。

图1：全面示意图。本图系统性地展示了三个组织病理学基准数据集，详细说明了纳入研究的样本数量（A面板）。从这些数据集中随机抽取测试图像，用于通过三种不同方法进行评估：零样本分类（方法1）、随机少样本抽样（方法2）以及基于k最近邻（kNN）的选择（方法3）。对于后者，使用Phikon ViT-B 40M Pancancer模型（）进行特征提取。在嵌入空间中，使用余弦相似性作为比较目标图像与其最近k个邻居之间的相似性指标。作为与GPT-4上下文学习（ICL）的基准对比，通过从ImageNet进行迁移学习，为每个目标图像训练了四个图像分类器（用+表示，分别是ResNet-18、ResNet-15、Tiny-Vit和Small-Vit）（B面板）。如需深入了解这些方法，请参阅算法1和实验设计部分。“背景”（BACK）标签已从分析中排除。

03.卓越性能

在这里插入图片描述

图2：视觉语言模型的上下文学习。A面板显示，通过利用随机抽样的少量图像样本进行上下文学习（ICL），可以显著提高CRC100K数据集上检测肿瘤（TUM）与非肿瘤（NORM）组织块的分类准确率。此外，在两个数据集上比较了随机抽样和基于k最近邻（kNN）的图像抽样方法，并表明基于kNN的图像抽样在分类MHIST（左侧）和PatchCamelyon（右侧）数据集中的图像时，能够提升模型性能，尤其是在增加少样本数量时。B面板中，样本在x轴上进行了轻微偏移以便于观察。y轴表示平均准确率及其上下2.5%的置信区间，数据来自10万次自助法（bootstrap）迭代。

在这里插入图片描述

图3：GPT-4V结合kNN上下文学习在PatchCamelyon和MHIST数据集上的性能分析。本图分为两个部分，A面板和B面板分别聚焦于PatchCamelyon（左侧）和MHIST数据集（右侧）。在A面板中，折线图展示了GPT-4V结合基于kNN的上下文学习时的平均性能，并与几种专业的图像分类和组织病理学基础模型进行了对比：首先，将GPT-4V与ResNet-18、ResNet-50以及两种视觉变换器（ViT-Tiny和ViT-Small）进行了比较，其中GPT-4V的上下文学习样本数量等于图像分类模型的训练样本数量（1，左上）。其次，比较了在完整数据集上训练的相同视觉分类器（2，左下），以及两种组织病理学基础模型Phikon（3，右上）和UNI（4，右下）的性能。对于后者，将GPT-4V与在预训练基础模型上训练线性层（分别训练1、3、5和10个周期）以及kNN分类进行了比较。需要注意的是，在这些情况下，模型是在完整数据集上训练的，而“样本数量”一词仅用于表示GPT-4V的少样本上下文学习样本数量。Y轴显示了所有标签的平均准确率，该数据来自10万次自助法（bootstrapping）迭代。所有相关指标（准确率、上下置信区间）总结于补充表1-3中。B面板展示了一系列热图，突出了在零样本、三样本、五样本和十样本的kNN抽样场景下，每个标签的绝对和相对性能，样本量均为n=60。最后，C面板中的蛛网图强调了在公平条件下，与两种ResNet风格模型和两种视觉变换器相比，GPT-4V在十样本情况下的分类性能优势。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述