MiniGPT-Med 通用医学视觉大模型：生成医学报告 + 视觉问答 + 医学疾病识别
  • 提出背景
  • 解法拆解



 
论文： miniGPT-Med: Large Language Model as a General Interface for Radiology Diagnosis

代码： https://github.com/Vision-CAIR/MiniGPT-Med

提出背景

近年来，人工智能（AI）的进步引发了医疗保健领域的重大突破，特别是在精细化诊断程序方面。

然而，先前的研究往往局限于有限的功能。

本文介绍了MiniGPT-Med，一种从大规模语言模型中派生并专为医疗应用量身定制的视觉-语言模型。

MiniGPT-Med在各种成像模态（包括X射线、CT扫描和MRI）中展示了卓越的多功能性，提升了其实用性。

该模型能够执行医学报告生成、视觉问答（VQA）和医学图像中的疾病识别等任务。

其对图像和文本临床数据的集成处理显著提高了诊断准确性。

我们的实证评估证实了MiniGPT-Med在疾病定位、医学报告生成和VQA基准测试中的优异表现，代表了在辅助放射学实践方面的一大进步。

此外，它在医学报告生成方面取得了最先进的性能，比之前的最佳模型高出19%的准确率。

MiniGPT-Med有望成为放射学诊断的一般界面，提升各种医学影像应用中的诊断效率。

MiniGPT-Med 通用医学视觉大模型：生成医学报告 + 视觉问答 + 医学疾病识别_人工智能


这张图展示了MiniGPT-Med模型在医学影像处理和疾病诊断方面的多样能力。图中主要包含以下信息：

  1. 模型简介：
  • 名称：MiniGPT-Med
  • 功能：能够处理所有医疗模态，包括X射线、CT扫描和MRI图像。
  • 疾病检测：可以检测超过14种疾病，如肺炎、水肿、脑肿瘤、肺癌等。
  • 数据集：在五个医疗数据集上进行训练，包括MIMIC、RSNA、NLST、RadVQA和SLAKE。
  1. 模型任务：
  • 视觉语言任务：模型能够执行6种不同的视觉语言任务，包括疾病检测、图像描述（Captioning）、视觉问答（VQA）、定位（Grounding）、引用表达理解（Refer）和识别（Identify）。
  1. 基准对比：
  • 图表列出了MiniGPT-Med与其他几种模型（LLaVA-Med、RadFM、XrayGPT、CheXagent、MedKLIP、BioViL）在这些任务上的表现对比。
  • MiniGPT-Med：在所有任务（检测、描述、VQA、定位、引用、识别）上都表现出色，均为对号（✔）。
  • 其他模型：各模型在不同任务上的表现有所不同。例如：
  • LLaVA-Med只在VQA任务上表现较好。
  • RadFM在VQA和定位任务上表现不错。
  • MedKLIP在检测和识别任务上表现良好。

总结：MiniGPT-Med是一个功能全面的医学影像处理模型，能够在多个任务上提供优异的性能，相比其他模型更为全面和高效。

解法拆解

MiniGPT-Med 通用医学视觉大模型：生成医学报告 + 视觉问答 + 医学疾病识别_语言模型_02


这张图展示了MiniGPT-Med的架构概览，具体包括以下几个关键部分：

  1. 视觉编码器（Vision Encoder）：
  • 输入的医学图像（如CT扫描图像）首先通过视觉编码器进行处理。
  • 使用预训练的EVA视觉编码器将图像转换为视觉语义特征。
  • 视觉编码器在整个训练过程中保持参数不变（冻结状态）。
  1. 线性投影层（Linear Projection Layer）：
  • 从视觉编码器输出的特征被连接成单一的视觉标记。
  • 线性投影层将这些视觉标记映射到大型语言模型的特征空间中。
  1. 大型语言模型（Large Language Model）：
  • 使用LLaMA2-chat作为主要语言模型。
  • 语言模型处理经过投影的视觉标记，并结合文本指令生成输出。
  • 图中展示了指令示例：[INST] [refer] What part of the image indicates cancer? [/INST]。
  1. 输出：
  • 语言模型生成对输入图像的描述或回答问题。
  • 在图中，输出的结果是一个带有病灶区域边界框的图像，病灶的坐标格式为<nodule (<29><43><42><56>)>。

图示解说了MiniGPT-Med模型如何处理单个医学图像，将其转换为视觉语义特征，然后通过线性投影层和大型语言模型生成详细的诊断报告或回答医学相关的问题。

在整个训练过程中，视觉编码器的参数保持不变，而对大型语言模型和线性投影层进行微调。

目的：高效的医学视觉语言模型
    ├── 子解法1：采用EVA作为视觉编码器
    │    └── 特征：处理复杂图像结构和变化
    ├── 子解法2：采用LLaMA2-chat作为语言模型
    │    └── 特征：生成医学报告，定位肿瘤
    ├── 子解法3：采用MiniGPT-v2架构，连接视觉标记
    │    └── 特征：提高处理高分辨率图像的效率
    ├── 子解法4：添加任务特定标记
    │    └── 特征：减少多任务环境中的幻想和混淆
    └── 子解法5：文本表示边界框
         └── 特征：增强模型对图像空间信息的理解
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.