Nature Medicine | 缺少医学科研数据？这个多模态通用模型整理的数据集太全面了！

小马不会过河

于 2024-10-09 20:00:00 发布

阅读量505

点赞数 13

文章标签：人工智能 chatgpt 深度学习机器学习区块链

本文链接：https://blog.csdn.net/m0_59163425/article/details/142795178

版权

近日发表在Nature Medicine上的文章提出了一种名为BiomedGPT的医学多模态通用模型，揭示了通用AI在生物医学领域广泛的应用潜力。该模型在构建过程中使用了33个数据来源的公开数据集，涵盖了CT、X光、MRI、心电图以及电子病例等十几类数据。本文对该研究使用到的数据集进行梳理，希望能够对各位读者有所帮助。

引言

随着人工智能技术的发展，人工智能逐步在解决各种生物医学任务方面展现了强大的能力。然而目前的大多数生物医学模型往往针对特定任务进行定制，这在临床实践中难以成功落地应用。在此情况下，适用于不同任务且能够整合分析各种数据类型的医学多模态通用模型被越来越多的研究者所关注。

多模态通用模型可以将不同模态的数据序列化为统一的符号序列，使其具备同时处理文本和视觉信息的能力。凭借这种能力，多模态通用模型可以整合放射影像、电子病例等多种数据类型，实现更高水平的分析和决策。Nature Medicine近期研究提出的医学多模态通用模型BiomedGPT，在放射学视觉问答、报告生成和总结等方面方面都有着出色的表现，彰显着其广泛的应用潜力。

数据集梳理

BiomedGPT基于Transformer架构，采用编码器-解码器结构进行设计。其在构建过程中，一是通过多样化的预训练任务获取多模态输入处理能力；二是通过面向特定生物医学任务微调，使模型能够适应不同的应用场景；三是通过指令调优的方式提升问题理解能力。同时，BiomedGPT一方面在微调阶段对其在各个下游任务的性能表现进行评估，另一方面也通过人工评估的方式对最终的模型效果进行评价。

在这里插入图片描述

在预训练阶段，BioBiomedGPT采用sequence-to-sequence学习方法，采用14个公开数据集进行预训练。这14个公开数据集涵盖了CT、X光以及MRI等13类数据，确保了数据模态的多样性。

在模型微调阶段，BioBiomedGPT依据临床应用的前景选择下游生物医学任务，包括视觉问答、图像描述、医学图像分类、文本摘要以及文本理解五类。其中：

视觉问答微调使用的数据集包括VQA-RAD、SLAKE以及PathVQA；
图像描述微调使用的数据集包括IU X-ray、MIMIC-CXR以及Peir Gross；
医学图像分类微调使用MedMNIST-Raw、MC-CXR、SZ-CXR以及CBIS-DDSM，其中MedMNIST-Raw收集自多个来源，涵盖九种组织类型、七种模态；
文本摘要微调使用MedQSum、HealthCareMagic、MIMIC-CXR、MIMIC-III；
文本理解微调使用MedNLI、MIMIC-III、SEER、TREC2022。

在这里插入图片描述

在指令调优阶段BioBiomedGPT结合LLaVA-Med使用的方法，基于VQA-RAD、SLAKE和PubMed articles进行模型优化

为了评估BiomedGPT的临床适用性，该研究还针对放射学视觉问答、报告生成以及报告摘要进行人工评估。其中：

放射学视觉问答评测使用从MIMIC-Diff-VQA官方测试集中随机选取的52个问题-答案样本；
放射学报告生成评测使用从MIMIC-CXR数据集随机选取了30对图像-报告样本；
放射学报告摘要评测使用MIMIC-CXR中随机选取的100个报告用于生成摘要。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述