医图论文 CVPR‘24 | 适应医学图像中泛化异常检测的视觉-语言模型

最新推荐文章于 2025-03-18 01:28:50 发布

小天才学习机打游戏

最新推荐文章于 2025-03-18 01:28:50 发布

阅读量773

点赞数 22

文章标签：语言模型人工智能自然语言处理学习深度学习剪枝算法

本文链接：https://blog.csdn.net/m0_59164520/article/details/144516760

版权

论文信息

题目：Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images

适应医学图像中泛化异常检测的视觉-语言模型

源码：https://github.com/MediaBrainSJTU/MVFA-AD

论文创新点

新颖的多级特征适配框架：作者提出了一个新颖的多级特征适配框架，这是首次尝试将预训练的视觉语言模型适应于零样本/少样本医学异常检测场景。
卓越的泛化能力：在挑战性的医学图像异常检测基准测试中，作者的方法展现出了卓越的泛化能力，能够在不同数据模态和解剖区域中实现有效的异常检测。
多级视觉特征适配器（MVFA）：作者设计了多级视觉特征适配器（MVFA），通过在CLIP的多个特征级别上应用适配器，实现了对视觉特征的逐步增强，同时保持了模型的轻量化。

摘要

近期，大规模视觉语言预训练模型在自然图像领域的零样本/少样本异常检测中取得了显著进展。然而，自然图像与医学图像之间的巨大领域差异限制了这些方法在医学异常检测中的有效性。本文介绍了一种新颖的轻量级多级适应和比较框架，以重新利用CLIP模型进行医学异常检测。作者的方法将多个残差适配器集成到预训练的视觉编码器中，实现了视觉特征在不同层级的逐步增强。这种多级适应由多级、逐像素的视觉语言特征对齐损失函数引导，重新校准模型的焦点，从自然图像中的对象语义转移到医学图像中的异常识别。适应后的特征在各种医学数据类型中展现出更好的泛化能力，即使在零样本场景下，模型在训练期间遇到未见过的医学模态和解剖区域。作者在医学异常检测基准测试中的实验表明，该方法显著超越了当前最先进的模型，在零样本和少样本设置下，异常分类的平均AUC分别提高了6.24%和7.33%，异常分割提高了2.03%和2.37%。

关键词

异常检测、医学图像、视觉语言模型、多级特征适配、泛化能力

3. 问题表述

我们的目标是将最初在自然图像上训练的视觉语言模型（记为）适应于医学图像的异常检测（AD），得到一个医学适应模型（记为）。这种适应利用了一个医学训练数据集，该数据集由医学领域的标注样本组成，使得能够转变为。具体来说，定义为一组元组，其中是数据集中的图像样本总数。每个元组包括一个训练图像，其对应的图像级异常分类（AC）标签，以及像素级异常分割（AS）注释，用于大小为的图像。标签“+”表示异常样本，而“-”表示正常样本。对于给定的测试图像，模型的目标是准确预测AC和AS的图像级和像素级异常。

为了模拟从未见成像模态和解剖区域检测异常，我们以零样本学习环境来处理这个问题。在这里，是一个预训练数据集，由与测试样本不同的模态和解剖区域的医学数据组成，这评估了模型对未见场景的泛化能力。考虑到从目标场景获得有限数量样本的实际性，作者还将方法扩展到少样本学习环境。在这里，包括一小部分与测试样本相同模态和解剖区域的个标注图像，通常代表一个小数值，如本研究中的。下面作者介绍了提出的多级适应和比较框架，包括（i）多级特征适应（第4节），以及（ii）多级特征比较（第5节）。

4. 训练：多级特征适应

为了将预训练的自然图像视觉语言模型适应于医学成像的异常检测（AD），我们引入了一个专为医学图像AD设计的多级特征适应框架，利用最少的数据和轻量级的多级特征适配器。

多级视觉特征适配器（MVFA）

针对由于参数数量多和训练样本有限而导致的过拟合挑战，我们在CLIP的多个特征级别上应用CLIP适配器。这种方法在CLIP的视觉分支中附加了一小组可学习的瓶颈线性层，同时保持其原始主干不变，从而实现在多个特征级别的适应。如图2（a）所示，对于图像，CLIP视觉编码器通过四个连续阶段（S1至S4）将图像转换为特征空间。这里，代表网格数量，表示特征维度。前三个视觉编码器阶段（S1至S3）的输出，记为，，代表三个中间阶段特征。视觉特征适应涉及三个特征适配器，，以及一个特征投影器，在不同级别。在每个级别，一个可学习的特征适配器集成到特征中，包含两个（最小数量）线性变换层。这种集成转换了特征以适应，表示为：

这里，和表示线性变换的可学习参数。与[15]一致，特征适配器中使用了残差连接以保留预训练CLIP编码的原始知识。具体来说，一个常数值作为残差比例来调整保留原始知识的度，以提高性能。因此，第个特征级别的特征适配器可以表示为：

其中作为下一个编码器阶段的输入。默认情况下，我们设置。

此外，如图2（b）所示，为了同时解决AC和AS的全局和局部特征，双适配器架构取代了方程（1）中的单适配器，每个级别产生两组平行特征，和。对于CLIP视觉编码器生成的最终视觉特征，特征投影器使用参数和的线性层进行投影，获得全局和局部特征，分别为和。利用多级适应特征，模型能够有效地区分全局异常进行分类和局部异常进行分割，通过以下视觉-语言特征对齐实现。

语言特征格式化

为了开发一个有效的异常分类和分割框架，作者采用了两级文本提示方法，灵感来自[9, 26]中使用的方法。这些方法利用正常和异常对象的描述。在状态级别，策略涉及使用简单、通用的文本描述正常和异常状态，关注清晰度并避免复杂细节。在模板级别，作者对[11]中引用的35个模板进行了彻底检查（详细内容见补充材料）。通过计算文本编码器提取的正常和异常状态的文本特征的平均值，我们获得了一个表示为的文本特征，其中是特征维度。

视觉-语言特征对齐

对于图像级异常注释和相应的像素级异常图，我们通过将MVFA给出的适应视觉特征与文本特征对齐，优化每个特征级别的模型。这是通过一个损失函数实现的，该函数结合了不同的组件：

其中Dice(·, ·)、Focal(·, ·)和BCE(·, ·)分别是Dice损失、Focal损失和二元交叉熵损失。、和是各自的损失权重，我们默认设置。总体适应损失然后计算为每个特征级别的损失之和，表示为。

5. 测试：多级特征比较

在测试期间，为了准确预测图像级（AC）和像素级（AS）的异常，作者的方法采用了包括零样本分支和少样本分支的双分支多级特征比较架构，如图2（c）所示。

零样本分支

测试图像通过MVFA处理产生多级适应特征。然后，这些特征与文本特征进行比较。零样本AC和AS结果，记为和，使用四个级别的平均softmax分数计算：

这里，将异常图重塑为，并使用双线性插值将其恢复到原始输入图像分辨率，其中代表网格数量。

少样本分支

所有在中的少数标记正常图像的多级视觉特征有助于构建一个多级特征记忆库，便于特征比较。少样本AC和AS分数，记为和，是从测试特征和记忆库特征在每个级别之间的最小距离中得出的，通过最近邻搜索过程：

这里，表示余弦距离，计算为。最终预测的AC和AS结果结合了两个分支的结果：

这里，和是零样本和少样本分支的权重因子，分别默认设置为0.5。

6. 实验

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述