M3D: 多模态大语言模型助力3D医学图像分析的进步

M3D:多模态大语言模型助力3D医学图像分析的进步

随着人工智能技术的快速发展,大语言模型在各个领域都展现出了强大的潜力。在医学影像这一关键领域,研究人员们也一直在探索如何将大模型的优势与3D医学图像分析相结合。近日,北京智源人工智能研究院(BAAI)的研究团队推出了一个名为M3D的开创性项目,这是首个针对3D医学分析的多模态大语言模型系列工作,为该领域带来了新的突破与机遇。

M3D项目概览

M3D项目包含三个核心组成部分:

1. M3D-Data: 目前最大规模的开源3D医学数据集,包含12万对图像-文本配对数据和66.2万对指令-响应数据。
2. M3D-LaMed: 多功能的多模态模型,采用M3D-CLIP预训练的视觉编码器,能够执行图像-文本检索、报告生成、视觉问答、定位和分割等多种任务。
3. M3D-Bench: 最全面的自动评估基准,涵盖8个任务。

这三个部分共同构成了一个完整的技术生态系统,为3D医学图像分析提供了强大的支持。

M3D-Data: 大规模3D医学数据集