ICLR 2023 | 基于视觉语言预训练模型的医疗图像小样本学习及零样本推理性能研究

近两年，视觉语言模型 (VLM) 逐渐兴起，并在小样本学习 (Few-shot Learning) 和零样本推理 (Zero-shot Inference) 上取得了令人注目的成果。那么这些在自然图像上取得成功的大规模预训练视觉语言模型，是否能成功应用到医疗领域呢？抱着这样的疑问，四川大学华西生物医疗大数据中心人工智能和医疗机器人实验室，华西医院-商汤科技联合实验室，上海人工智能实验室，以及北京邮电大学的联合研究详细全面地验证了，在合适的提示(Prompt)的帮助下，在自然图像上训练得到的视觉语言预训练模型能否在小样本甚至零样本的条件下迁移到医疗图像领域。相关论文 已经被人工智能顶级会议ICLR 2023(International Conference on Learning and Representation)接收。

论文标题：

Medical Image Understanding with Pretrained Vision Language Models: A Comprehensive Study

论文链接：

https://arxiv.org/abs/2209.15517v1

一、医疗大模型的稀缺性

医疗图像领域一直